KR102616403B1 - 전자 장치 및 그의 메시지 전달 방법 - Google Patents

전자 장치 및 그의 메시지 전달 방법 Download PDF

Info

Publication number
KR102616403B1
KR102616403B1 KR1020160179774A KR20160179774A KR102616403B1 KR 102616403 B1 KR102616403 B1 KR 102616403B1 KR 1020160179774 A KR1020160179774 A KR 1020160179774A KR 20160179774 A KR20160179774 A KR 20160179774A KR 102616403 B1 KR102616403 B1 KR 102616403B1
Authority
KR
South Korea
Prior art keywords
recipient
electronic device
message
sender
recognized
Prior art date
Application number
KR1020160179774A
Other languages
English (en)
Other versions
KR20180075875A (ko
Inventor
이임성
김기원
오세기
구자민
권기영
김은영
김지민
김철귀
김형우
남궁주
박지현
유승훈
유용주
이동규
이찬원
장시학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160179774A priority Critical patent/KR102616403B1/ko
Priority to US16/474,386 priority patent/US11165728B2/en
Priority to EP17887937.5A priority patent/EP3550812B1/en
Priority to PCT/KR2017/015232 priority patent/WO2018124633A1/ko
Priority to EP24154837.9A priority patent/EP4340341A2/en
Publication of KR20180075875A publication Critical patent/KR20180075875A/ko
Application granted granted Critical
Publication of KR102616403B1 publication Critical patent/KR102616403B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 다양한 실시예들은 전자 장치 및 그의 메시지 전달 방법에 관한 것으로, 상기 전자 장치는 카메라; 상기 카메라와 기능적으로 연결되는 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나의 프로그램을 저장하는 메모리를 포함하되, 상기 프로그램은 발신자로부터의 메시지의 입력 감지에 대응하여 상기 카메라를 활성화하여 상기 발신자를 촬영하고, 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하고, 상기 분석 결과를 기반으로, 수신자 및 출력 패턴을 결정하고, 상기 수신자가 인식되는지 확인하며, 상기 수신자가 인식되는 경우 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하도록 설정된 명령어를 포함할 수 있다.
그 밖의 다양한 실시예가 가능하다.

Description

전자 장치 및 그의 메시지 전달 방법{ELECTRONIC DEVICE AND METHOD FOR DELIVERING MESSAGE THEREOF}
본 발명의 다양한 실시예들은 전자 장치 및 그의 메시지 전달 방법에 관한 것이다.
전자 장치들(예: 이동 단말기, 스마트 폰, 착용형(wearable) 전자 장치 등)은 다양한 기능을 제공할 수 있다. 예를 들어, 스마트 폰은 기본적인 음성 통신 기능에 추가적으로, 인터넷 접속 기능, 음악 또는 동영상 재생 기능, 촬영 기능, 네비게이션 기능, 메신저 기능 등을 제공할 수 있다.
상기 메신저 기능은 텍스트 형태의 메시지를 특정 유저와 주고 받을 수 있다. 하지만, 최근에는 단순한 텍스트를 송수신하는데 그치지 않고, 멀티미디어 메시지를 전송할 수 있다. 예를 들어, 상기 전자 장치들은 이모티콘, 녹음 파일, 사진 및/또는 동영상 파일 등을 송수신할 수 있게 되었다.
하지만, 상기 전자 장치들은 단순히 녹음 파일, 사진 또는 동영상 파일 등을 포함하는 멀티미디어 메시지를 지정된 수신측 전자 장치로 전송하고 있다. 상기 수신측 전자 장치는 수신자가 주변에 존재하는지와 관계없이 수신된 멀티미디어 메시지를 화면에 표시할 수 있다. 또한, 상기 전자 장치는 단순히 멀티미디어 메시지만을 전송함에 따라 수신자에게 발신자의 감정을 적절히 전달할 수 없다.
상술한 문제점들을 해결하기 위한, 본 발명의 다양한 실시예들은 발신자로부터 특정 수신자에게 전달하기 위한 메시지를 입력받고, 메시지의 수신자가 인식되면, 해당 메시지를 인식된 수신자에게 전달할 수 있다.
또한, 본 발명의 다양한 실시예들은 발신자의 감정 상태, 감정의 강도, 발신자의 연령, 성별, 수신자의 상황(예: 생일, 기념일 등의 이벤트) 및/또는 기호(예: 많이 재생한 컨텐츠) 등을 반영하여, 수신자에게 메시지를 전달할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는, 카메라; 상기 카메라와 기능적으로 연결되는 적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나의 프로그램을 저장하는 메모리를 포함하되, 상기 프로그램은 발신자로부터의 메시지의 입력 감지에 대응하여 상기 카메라를 활성화하여 상기 발신자를 촬영하고, 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하고, 상기 분석 결과를 기반으로, 수신자 및 출력 패턴을 결정하고, 상기 수신자가 인식되는지 확인하며, 상기 수신자가 인식되는 경우 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하도록 설정된 명령어를 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치의 메시지 전달 방법은, 발신자로부터의 메시지의 입력 감지에 대응하여 상기 발신자를 촬영하는 동작; 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하는 동작; 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석한 결과를 기반으로, 수신자 및 출력 패턴을 결정하는 동작; 상기 수신자가 인식되는지 확인하는 동작; 및 상기 수신자가 인식되는 경우 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들은 발신자의 감정 상태 및 감정 강도를 고려하여 메시지를 전달함에 따라 전달 효과를 향상 시킬 수 있다. 예를 들어, 상기 전자 장치는 발신자의 감정 상태 및/또는 감정 강도에 따라 화면(예: 배경 화면, 얼굴을 가지는 이동형 로봇의 경우 표정)을 다르게 표시하거나, 움직임(motion) 및 움직임의 강도를 다르게하여 메시지를 수신자에게 전달할 수 있다. 또는, 상기 전자 장치는 발신자의 감정 상태 및/또는 감정 강도에 따라 메시지의 출력 톤(tone) 및/또는 배경 음악 등을 다르게하여 메시지를 수신자에게 전달할 수 있다.
또는, 상기 전자 장치는 발신자의 연령에 따라 설정된 기계음으로 메시지를 출력하거나, 발신자의 음성으로 메시지를 출력할 수 있다.
또한, 본 발명의 다양한 실시예들은 수신자의 상황 및 기호를 고려하여 메시지를 전달함에 따라 메시지의 전달 효과를 향상 시킬 수 있다. 예를 들어, 상기 전자 장치는 수신자가 선호하는 음악을 배경 음악으로 함께 출력하거나, 수신자가 선호하는 캐릭터의 음성으로 메시지를 출력할 수 있다. 또는, 상기 전자 장치는 생일 축하 메시지인 경우 생일 축하 노래와 함께 메시지를 수신자에게 전달할 수 있다.
또한, 본 발명의 다양한 실시예들은 수신자를 인식하여 해당 수신자에게만 메시지(예: 비밀 메시지)를 전달할 수 있어, 보안성을 향상 시킬 수 있다.
도 1은 본 발명의 한 실시예에 따른 전자 장치를 이용하여 메시지를 전달하는 예를 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 메시지를 전달하는 예를 도시하는 도면이다.
도 3은 본 발명의 한 실시예에 따른 메시지를 전달하는 예를 도시한 도면이다.
도 4는 본 발명의 한 실시예에 따른 메시지를 전달하는 예를 도시한 도면이다.
도 5a는 본 발명의 한 실시예에 따른 전자 장치를 도시한 도면이다.
도 5b는 본 발명의 한 실시예에 따른 전자 장치의 구성을 도시하는 블록도이다.
도 5c는 본 발명의 한 실시예에 따른 도 5b의 프로세서의 구성을 상세히 도시한 도면이다.
도 6은 본 발명의 한 실시예에 따른 전자 장치의 메시지 전달 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 한 실시예에 따른 전자 장치의 비밀 메시지 전달 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 한 실시예에 따른 전자 장치의 메시지 전달 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 한 실시예에 따른 메시지 전달 방법을 설명하기 위한 흐름도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
상세한 설명에 앞서 이하에서는, 상기 전자 장치가 눈사람 모양의 로봇인 것으로 가정하여 설명하기로 한다. 하지만, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 예를 들어, 본 발명의 다양한 실시예는 다양한 형태(예: 강아지, 고양이 등)의 로봇 또는 사물 인터넷(internet of thing: IoT) 장치, 스마트 폰, 태블릿, 노트북 등과 같은 다양한 전자 장치에 적용될 수 있다.
도 1은 본 발명의 한 실시예에 따른 전자 장치를 이용하여 메시지를 전달하는 예를 도시한 도면이다.
상기 도 1을 참조하면, 본 발명의 한 실시예에 따른 전자 장치(100)는 제1사용자(이하 발신자)로부터 메시지를 입력 받아, 제2사용자(이하, 수신자)에게 메시지를 전달할 수 있다.
예를 들어, 상기 도 1의 식별 부호 110에 도시된 바와 같이, 상기 전자 장치(100)는 마이크(미도시)를 이용하여 발신자의 음성 메시지 "Snowball, Tom에게 사랑한다고 전해줘"를 입력 받을 수 있다.
상기 전자 장치(100)는 입력된 메시지로부터 지정된 단어(예: snowball)가 감지되는 경우 메시지 전달 명령으로 인식하여 메시지 전달 기능을 활성화할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치(100)는 설정된 제스처 입력, 설정된 메뉴 입력에 대응하여 메시지 전달 기능이 활성화된 후, 발신자의 음성 메시지를 입력받을 수 있다. 이때, 상기 전자 장치(100)는 메시지 전달 기능이 활성화되었음을 사용자에게 시각 또는 청각적으로 통지할 수 있다. 상기 메시지 전달 기능이 활성화되는 경우, 상기 전자 장치(100)는 카메라를 통해 발신자의 얼굴을 촬영할 수 있다.
상기 전자 장치(100)는 상기 메시지의 입력 도중 및/또는 입력 완료 후 분석 동작을 수행할 수 있다. 상기 분석 동작은 사용자 분석, 음성 분석, 비전 분석, 상황 분석 및 기호 분석을 포함할 수 있다.
상기 전자 장치(100)는 사용자 분석을 통해 발신자 및 수신자 정보를 인식할 수 있다. 예를 들어, 상기 전자 장치(100)는 얼굴 인식 및/또는 화자 인식을 통해 발신자를 인식할 수 있다. 상기 전자 장치(100)는 음성 메시지를 텍스트로 변환한 후 구문 분석을 통해 수신자 정보를 인식할 수 있다. 예를 들어, 상기 전자 장치(100)는 상기 변환된 텍스트로부터 주소록 등에 등록된 정보(예: 이름, 별명 등)에 대응하는 단어를 추출하여 수신자로 인식할 수 있다. 또는, 상기 전자 장치(100)는 지정된 단어(예:"에게")앞에 위치하는 단어를 수신자로 인식할 수 있다. 예를 들어, 상기 식별 부호 110의 도면에서, 상기 전자 장치(100)는 상기 지정된 단어 "에게"앞에 위치하는 단어"Tom"을 수신자로 인식할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치(100)는 입력 장치(예: 터치스크린)를 통해 수신자 정보를 입력받을 수 있다.
상기 전자 장치(100)는 미리 저장된 프로필 정보를 이용하여 발신자 및 수신자의 성별, 연령 및/또는 발신자와 수신자의 관계(예: 아빠와 아들)를 확인할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치(100)는 음성 분석 및/또는 비전 분석을 통해 발신자의 성별 및/또는 연령을 인식할 수 있다.
상기 전자 장치(100)는 음성 분석 및 비전 분석을 통해 발신자의 감정 상태 및/또는 감정의 강도를 인식할 수 있다. 예를 들어, 상기 전자 장치(100)는 입력된 음성을 텍스트로 변환하고, 상기 텍스트로부터 감정과 관련된 단어(예: 사랑, 걱정, 우울함, 지루함, 슬픔 등)를 추출할 수 있다. 상기 전자 장치(100)는 비전 분석을 통해 검출되는 발신자의 얼굴 표정을 통해 감정 상태 및 감정의 강도를 인식할 수 있다. 예를 들어, 상기 전자 장치(100)는 눈 및/또는 입의 모양을 통해 감정 상태를 인식하고, 입꼬리 및 눈꼬리의 올라간 각도 등과 관련하여 기설정된 파라미터를 이용하여 감정의 강도를 인식할 수 있다.
상기 전자 장치(100)는 상황 분석을 수행할 수 있다. 예를 들어, 상기 전자 장치(100)는 기 저장된 스케쥴 정보를 이용하여, 수신자와 관련된 이벤트(예: 생일, 기념일 등) 정보를 확인할 수 있다. 또는, 상기 전자 장치(100)는 상기 변환된 텍스트로부터 이벤트(예: 생일, 기념일 등)와 관련된 단어(예: 생일, 결혼 등)를 추출할 수 있다.
상기 전자 장치(100)는 기호 분석을 수행할 수 있다. 예를 들어, 상기 전자 장치(100)는 수신자가 최근에 많이 재생한 컨텐츠(선호 컨텐츠)(예: 음악, 영화, 만화 영화 등)정보를 확인할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치(100)는 수신자 소유의 적어도 하나의 전자 장치(스마트 폰, 태블릿, 웨어러블 전자 장치 등)(미도시)로부터 선호 컨텐츠에 대한 정보를 주기적으로 제공받을 수 있다.
어떤 실시예에 따르면, 상기 전자 장치(100)는 비밀을 요하는 메시지(이하, 비밀 메시지)인지 확인할 수 있다. 예를 들어, 상기 전자 장치(100)는 특정 단어(예: 몰래, 비밀, 보안 등)의 검출 시 비밀 메시지인 것으로 인식하여 저장할 수 있다. 또는, 상기 전자 장치(100)는 메시지 입력 완료 후 기 설정된 특정 제스처 또는 메뉴가 입력되는 경우 비밀 메시지로 인식하여 저장할 수 있다. 또는, 상기 전자 장치(100)는 비밀 메시지를 나타내는 제스처 또는 메뉴를 통해 메시지 전달 기능이 활성화된 경우 비밀 메시지로 인식하여 저장할 수 있다.
상기 분석 동작들이 완료되면, 상기 전자 장치(100)는 분석 결과를 기반으로 메시지의 전달을 위한 출력 패턴을 결정할 수 있다. 상기 출력 패턴은 로봇 형태의 전자 장치(100)의 얼굴 표현(face expression), 움직임(motion), AUI(auditory user interface)(예: 효과음, 배경 음악), 음성 종류(voice type)(예: 남자, 여자, 어린이, 어른, 만화 캐릭터 등) 등이 될 수 있다. 예를 들어, 상기 전자 장치(100)는 발신자의 감정이 기쁨 상태이며, 발신자가 수신자의 아빠인 경우 웃는 표정을 얼굴 표현으로 결정하고, 웃는 동작을 움직임으로 결정하고, 웃음 소리를 AUI로 결정하며, 성인 남자의 음성(또는 아빠 음성)를 음성 종류로 결정할 수 있다. 상기 출력 패턴은 발신자의 감정의 강도에 따라 달라질 수 있다. 예를 들어, 상기 전자 장치(100)는 발신자의 기쁨 정도에 따라, 다수의 웃는 표정들 중 하나, 다수의 웃는 동작들 중 하나, 다수의 웃음 소리들 중 하나를 결정할 수 있다. 예를 들어, 상기 전자 장치(100)는 감정의 강도가 클수록 움직임의 크기를 크게하고, 움직임 시간을 길게 하고, 사운드의 출력 크기를 증가시키며, 표정의 변화를 크게할 수 있다.
상기 전자 장치(100)는 수신자를 인식할 수 있다. 예를 들어, 상기 전자 장치(100)는 카메라를 통해 피사체(사람)가 감지되는 경우 얼굴 인식을 통해 수신자인지 확인할 수 있다. 다른 실시예에서는, 상기 전자 장치(100)는 마이크를 통해 주변에서 사람의 음성에 해당하는 일정 크기 이상의 소리를 감지하고, 화자 인식을 통해 수신자인지 확인할 수 있다. 또 다른 실시예에서는, 상기 전자 장치(100)는 수신자의 전자 장치(예: 웨어러블 전자 장치)와 근거리 무선 통신이 연결되는 경우 수신자가 주변에 위치하는 것으로 인식할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치(100)가 가정에서 사용되는 이동형 로봇인 경우 홈 네트워크에 속한 다양한 전자 장치들(예: IoT 장치)에게 수신자의 위치를 요청하고, 상기 다양한 전자 장치들로부터 수신자의 위치를 전송받아 해당 위치로 이동할 수 있다.
상기 수신자가 인식되면, 상기 전자 장치(100)는 상기 결정된 출력 패턴에 따라 메시지를 출력할 수 있다. 예를 들어, 상기 전자 장치(100)는 식별 부호 120의 도면에 도시된 바와 같이, "Tom"이 인식되면, 상기 전자 장치는 웃는 표정, 웃는 동작을 수행하면서, 웃는 소리를 효과음으로 출력하며 성인 남자의 음성으로 "사랑해"라는 메시지를 출력할 수 있다. 다른 실시예에서는, 상기 전자 장치는 수신자(아들)의 기호를 반영하여 성인 남성(또는 아빠) 음성을 대신하여, 만화 영화의 캐릭터의 음성으로 "사랑해"라는 메시지를 출력할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치(100)는 상기 수신자를 인식한 후, 눈동자를 추적하여, 상기 수신자의 눈동자가 자신(전자 장치(100))을 바라보고 있는 것으로 인식되는 경우 상기 출력 패턴에 따라 메시지를 출력할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치(100)는 비밀 메시지인 경우 상기 수신자 인식 시 주변에 다른 사람들이 존재하는지 확인하고, 다른 사람이 존재하지 않는 경우 비밀 메시지를 전달할 수 있다. 어떤 실시예에 따르면, 상기 전자 장치(100)는 비밀 메시지가 수신되었음을 수신자에게 통지하고, 수신자 인증(예: 비밀 번호 입력, 생체(예: 지문, 홍채 등) 인증 등) 후 비밀 메시지를 전달할 수 있다.
어떤 실시예에 따르면, 상기 전자 장치(100)는 상기 분석 동작의 적어도 일부(예: 감정상태 및/또는 감정의 강도 분석)를 감정 분석 서버(미도시)를 통해 수행할 수도 있다. 예를 들어, 상기 전자 장치(100)는 입력된 음성 및/또는 촬영된 영상을 감정 분석 서버(미도시)에 전송하고, 상기 감정 분석 서버(미도시)로부터 분석 결과를 수신할 수 있다. 상기 감정 분석 서버(미도시)는 다수의 전자 장치들로부터 지속적으로 데이터를 수집하여 감정 분석을 위한 데이터베이스를 업데이트할 수 있다. 이와 같이, 상기 감정 분석 서버는 빅데이터를 기반으로 감정의 상태 및/또는 강도를 분석함에 따라 분석의 정확도를 향상시킬 수 있다.
도 2는 본 발명의 한 실시예에 따른 메시지를 전달하는 예를 도시하는 도면이다.
상기 도 2를 참조하면, 본 발명의 한 실시예에 따른 제1전자 장치(210)는 발신자로부터 메시지를 입력받고, 분석 동작을 수행할 수 있다. 상기 분석 동작이 완료되면, 상기 제1전자 장치(210)는 수신자가 소유하고 있는 제2전자 장치(220)를 확인하고, 상기 분석 동작에 따라 생성된 출력 패턴을 상기 확인된 제2전자 장치(220)로 전송할 수 있다.
상기 제1전자 장치(210)는 근거리 무선 통신(예: 블루투스, 와이파이, 홈 RF 등) 또는 원거리 무선 통신(인터넷 네트워크, 이동통신 네트워크 등)을 통해 상기 제2전자 장치(220)와 통신 채널을 연결할 수 있다. 상기 제1전자 장치(210)는 일반적인 통신(예: 문자 메시지 송수신, 음성 또는 화상 통화 등)을 위한 통신 채널과 상기 감정 정보를 포함하는 메시지 전달을 위한 통신 채널을 별도로 연결할 수 있다.
상기 출력 패턴을 수신한 제2전자 장치(220)는 수신자를 인식하고, 상기 수신자가 인식되는 경우 상기 전송 받은 출력 패턴에 따라 메시지를 전달할 수 있다.
어떤 실시예에 따르면, 상기 분석 동작들은 제1전자 장치(210) 및 제2전자 장치(220)에 의해 나누어서 수행될 수 있다. 예를 들어, 상기 제1전자 장치(210)는 발신자와 관련된 분석 동작(예: 발신자의 감정 상태, 감정의 강도, 연령, 성별 등)을 수행할 수 있다. 상기 제2전자 장치(220)는 수신자와 관련된 분석 동작(예: 수신자의 상황(이벤트), 발신자와의 관계, 수신자의 기호 등)을 수행할 수 있다. 상기 제2전자 장치(220)는 제1전자 장치(210)로부터 수신한 분석 결과 및 자신의 분석 결과를 조합하여 출력 패턴을 결정할 수 있다.
어떤 실시예에 따르면, 상기 분석 동작들은 제2전자 장치(220)에 의해 수행될 수 있다. 이를 위하여, 상기 제1전자 장치(210)는 발신자의 음성을 녹음하고, 발신자의 표정을 촬영하여 제2전자 장치(220)로 전송할 수 있다.
도 3은 본 발명의 한 실시예에 따른 메시지를 전달하는 예를 도시한 도면이다.
상기 도 3을 참조하면, 본 발명의 한 실시예에 따른 제1전자 장치(310)는 제2전자 장치(320)(예: 스마트 폰)와 통신 채널을 연결할 수 있다. 상기 통신은 영상 통화(video call), 음성 통화(call) 및 문자 메시지의 송수신을 포함할 수 있다.
상기 영상 통화가 수행되는 경우 상기 제1전자 장치(310)는 수신되는 영상의 분석(영상 분석)을 통해 발신자의 표정을 인식하고, 발신자의 감정 상태 및/또는 감정의 강도를 분석할 수 있다. 또한, 상기 제1전자 장치(310)는 음성 분석을 통해 발신자의 감정 상태 및/또는 감정의 강도를 분석할 수 있다. 또는, 상기 제1전자 장치(310)는 음성 인식을 기반으로, 상기 제2전자 장치(320)로부터 수신되는 발신자의 음성을 텍스트로 변환하고, 상기 텍스트를 구문 분석하여 감정 상태 및/또는 감정 강도를 분석할 수 있다. 또는, 상기 제1전자 장치(310)는 영상 분석, 음성 분석 및 음성 인식 결과를 조합하여 발신자의 감정 상태 및/또는 감정 강도를 분석(인식)할 수 있다. 상기 분석된 감정 상태 및/또는 감정 강도를 기반으로, 상기 제1전자 장치(310)는 출력 패턴을 결정할 수 있다.
한편, 음성 통화인 경우 상기 제1전자 장치(310)는 영상 분석을 제외하고, 음성 분석 및 음성 인식을 이용한 구문 분석을 수행하여 발신자의 감정 상태 및/또는 감정의 강도를 분석(인식)할 수 있다. 상기 분석된 감정 상태 및/또는 감정 강도를 기반으로, 상기 제1전자 장치(310)는 출력 패턴을 결정할 수 있다. 또는, 문자 메시지를 수신하는 경우 상기 제1전자 장치(310)는 영상 분석, 음성 분석 및 음성 인식을 제외하고, 수신된 텍스트의 구문 분석만을 수행하여 발신자의 감정 상태 및/또는 감정의 강도를 분석(인식)할 수 있다. 상기 분석된 감정 상태 및/또는 감정 강도를 기반으로, 상기 제1전자 장치(310)는 출력 패턴을 결정할 수 있다.
상기 제1전자 장치(310)는 결정된 출력 패턴에 따라 수신자에게 메시지를 전달(표현)할 수 있다.
도 4는 본 발명의 한 실시예에 따른 메시지를 전달하는 예를 도시한 도면이다.
상기 도 4를 참조하면, 본 발명의 한 실시에 따른 제1전자 장치(410)는 제2전자 장치(420)로부터 이모티콘을 수신하는 경우 상기 수신된 이모티콘에 해당하는 감정 상태를 인식하고, 인식된 감정 상태에 대응하는 출력 패턴을 결정할 수 있다. 예를 들어, 식별 부호 401의 도면에 도시된 바와 같이, 상기 제2전자 장치(420)는 이모티콘의 선택을 감지하고, 이를 제1전자 장치(410)로 전송할 수 있다. 상기 도 4의 식별 부호 402의 도면에 도시된 바와 같이, 상기 제1전자 장치(410)는 상기 제2전자 장치(420)에서 선택된 이모티콘의 종류에 따라 "사랑", "슬픔", "화남", "긍정" 또는 "반대"의 출력 패턴을 결정하고, 결정된 패턴에 따른 표정 및/또는 모션을 수행할 수 있다.
어떤 실시예에 따르면, 상기 제1전자 장치(410)는 이모티콘의 개수를 통해 감정의 강도를 결정할 수 있다. 예를 들어, 상기 제1전자 장치(410)는 웃는 이모티콘이 하나인 경우 제1레벨의 웃음(가벼운 웃음)으로 출력 패턴을 결정하고, 웃는 이모티콘이 2개인 경우 제2레벨의 웃음(중간 정도의 웃음)으로 출력 패턴을 결정하고, 3개 이상인 경우 제3레벨의 웃음(강력한 웃음)으로 출력 패턴을 결정할 수 있다. 상기 레벨의 수는 사용자 또는 설계자의 의도에 따라 가변될 수 있다.
상기 도 1 내지 도 4를 통해 상술한 본 발명의 다양한 실시예들은, 메시지의 전달 요청 시 수신자를 인식하고, 발신자의 감정 상태, 감정의 강도, 연령, 성별, 상황(이벤트), 및/또는 수신자의 기호를 반영하여 시각적, 청각적, 및/또는 촉각적으로 상기 인식된 수신자에게 메시지를 전달할 수 있다.
도 5a는 본 발명의 한 실시예에 따른 전자 장치를 도시한 도면이고, 도 5b는 본 발명의 한 실시예에 따른 전자 장치의 구성을 도시하는 블록도이며, 도 5c는 본 발명의 한 실시예에 따른 도 5b의 프로세서의 구성을 상세히 도시한 도면이다.
상기 도 5a 내지 5c를 참조하면, 본 발명의 한 실시예에 따른 전자 장치(500)(예: 도 1의 전자 장치(100), 도 2의 전자 장치(210), 도 3의 전자 장치(310), 도 4의 전자 장치(410))는 눈사람 형태의 외관을 가질 수 있다. 상기 전자 장치(500)는 제1하우징(501) 및 제2하우징(502)을 포함할 수 있다. 상기 제1하우징(501) 및 상기 제2하우징(502)은 상하 및/또는 좌우로 회전 가능하게 결합될 수 있다. 상기 제1하우징(501)은 얼굴(503)을 포함할 수 있다. 상기 얼굴(503)은 디스플레이 모듈 또는 터치스크린으로 형성될 수 있다. 상기 전자 장치(500)는 얼굴(503)을 통해 발신자의 감정 상태 및/또는 감정 강도를 표현할 수 있다. 예를 들어, 상기 전자 장치(500)는 아이콘, 도형 등 그래픽 요소를 얼굴에 표시하여 시각적으로 발신자의 감정을 표현할 수 있다. 상기 전자 장치(500)는 움직일 수 있다. 예를 들어, 상기 전자 장치(500)는 고개를 끄덕이는 것과 같이 제1하우징(501)을 상하로 움직이거나, 고개를 가로 젓는 것처럼 제1하우징(501)을 좌우로 움직이거나, 오뚜기처럼 앞뒤 또는 좌우로 흔들 수 있다. 어떤 실시예에 따르면, 상기 전자 장치(500)는 바퀴(미도시)와 같은 이동 수단을 포함할 수 있다.
상기 전자 장치(500)는 프로세서(510), 메모리(520), 터치스크린(530), 통신 모듈(540), 카메라(550), 오디오 처리 모듈(560), 센서 모듈(570) 및 구동모듈(580)를 포함할 수 있다.
상기 프로세서(510)는 전자 장치(500)의 전반적인 동작을 제어할 수 있다. 다시 말해, 상기 프로세서(510)는 전자 장치(500)의 각 구성 요소들을 제어할 수 있다. 예를 들어, 상기 프로세서(510)는 메모리(520)로부터 인스트럭션들(instructions)을 수신하고, 수신된 인스트럭션들에 따라 각 구성 요소들을 제어하여, 다양한 기능들을 수행할 수 있다.
상기 프로세서(510)는 중앙 처리 장치(central processing unit: CPU), 어플리케이션 프로세서(application processor: AP), 마이크로 컨트롤 유닛(micro control unit: MCU) 등으로 형성될 수 있다. 상기 프로세서(510)는 싱글 코어 프로세서(single core processor) 또는 멀티 코어 프로세서(multi-core processor)로 형성될 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 다수의 프로세서로 구성된 멀티 프로세서일 수 있다. 예를 들어, 상기 프로세서(510)는 어플리케이션 프로세서(application processor: AP) 및 통신 프로세서(communication processor: CP)를 포함할 수 있다. 다른 실시예에서는, 상기 프로세서(510)는 고전력 프로세서(예: AP) 및 저전력 프로세서를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 프로세서(510)는 특정 수신인에게 메시지를 전달하는 절차를 제어할 수 있다. 예를 들어, 상기 프로세서(510)는 발신자로부터 음성 메시지의 입력 감지 시 발신자를 촬영하도록 카메라(550)를 제어하고, 상기 촬영된 이미지 및 입력된 메시지를 분석할 수 있다. 상기 분석 결과를 기반으로 수신자 및 출력 패턴을 결정할 수 있다. 상기 프로세서(510)는 카메라(550), 마이크(MIC) 및/또는 통신 모듈(540)을 이용하여 수신자를 인식하고, 상기 출력 패턴을 기반으로 상기 인식된 수신자에게 메시지를 전달할 수 있다.
상기 도 5c에 도시된 바와 같이, 본 발명의 한 실시예에 따른 프로세서(510)는 음성 분석 모듈(511), 구문 분석 모듈(512), 비전 분석 모듈(513), 감정 분석 모듈(514) 및 출력 패턴 결정 모듈(515)을 포함할 수 있다.
상기 음성 분석 모듈(511)은 음성을 텍스트로 변환하는 음성 인식 기능 및 화자를 식별할 수 있는 화자 인식 기능을 제공할 수 있다.
상기 구문 분석 모듈(512)은 상기 음성 인식 기능을 통해 변환된 텍스트, 입력 장치를 통해 입력된 텍스트, 또는 타 전자 장치로부터 수신된 텍스트 등을 분석할 수 있다. 예를 들어, 상기 구문 분석 모듈(512)는 기 설정된 규칙에 따라 수신자를 나타내는 문구, 감정 상태를 나타내는 문구, 이벤트와 관련된 문구 등을 추출할 수 있다.
상기 비전 분석 모듈(513)은 발신자 또는 수신자를 인식하는 얼굴 인식 기능 및 표정을 인식하는 표정 인식 기능을 제공할 수 있다. 예를 들어, 상기 비전 분석 모듈(513)은 얼굴의 특징점(예: 눈, 코, 입 등)을 기반으로 사용자를 인식할 수 있다. 상기 비전 분석 모듈(513)은 눈꼬리, 입꼬리 등을 기반으로 발신자의 표정을 인식할 수 있다. 상기 비전 분석 모듈(513)은 촬영 이미지를 분석하여 발신자의 연령대 및 성별을 인식할 수 있다.
상기 감정 분석 모듈(514)은 상기 음성 분석, 구문 분석 및/또는 비전 분석 결과를 기반으로 발신자의 감정 상태(예: 즐거움, 웃김, 슬픔, 지루함, 평범, 사랑, 당황, 관심, 긍정 등) 및/또는 감정의 강도를 인식할 수 있다. 상기 감정 분석 모듈(514)은 비전 분석, 음성 분석 및 구문 분석을 통해 인식된 감정의 강도가 상이한 경우 가장 높은 강도를 발신자의 감정 강도로 결정할 수 있다.
상기 출력 패턴 결정 모듈(515)은 다양한 분석 결과를 기반으로, 출력 패턴을 결정할 수 있다. 예를 들어, 상기 출력 패턴 결정 모듈(515)은 발신자의 연령대 및/또는 성별에 따라 음성 종류를 결정할 수 있다. 상기 출력 패턴 결정 모듈(515)은 감정 상태 및/또는 감정 강도를 고려하여 얼굴 표현, 움직임 및/또는 AUI를 결정할 수 있다.
상기 출력 패턴 결정 모듈(515)은 수신자와 관련된 이벤트 및/또는 수신자의 기호를 반영하여 AUI를 결정할 수 있다. 이를 위하여, 상기 전자 장치는 다수의 출력 패턴들을 테이블 또는 데이터베이스(database) 형태로 저장할 수 있다. 상기 출력 패턴은 사용자에 의해 편집(예: 수정/삭제/추가)될 수 있다.
상기 메모리(520)는 전자 장치(500)를 동작시키기 위한 다양한 프로그램들을 저장하며, 상기 다양한 프로그램들을 수행하는 중에 발생되는 데이터 또는 다운로드된 데이터 등을 저장할 수 있다. 또한, 상기 메모리(520)는 프로세서(510)를 동작시키기 위한 다양한 명령(command) 및/또는 인스트럭션(instruction)들을 저장할 수 있다. 상기 메모리(520)는 내장 메모리 또는 외장 메모리 중 적어도 어느 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 메모리(520)는 메시지 전달 절차를 제어하기 위한 프로그램을 저장할 수 있다. 상기 메모리(520)는 얼굴 인식, 표정 인식, 화자 인식, 구문 분석을 위한 기준 정보를 저장할 수 있다. 예를 들어, 상기 메모리(520)는 발신자 및 수신자의 얼굴 특징 정보, 음성 특징 정보, 다양한 표정(예: 웃는 표정)에 대한 특징 정보(예: 눈꼬리 및/또는 입꼬리가 올라간 정도), 특정 단어 등을 저장할 수 있다.
상기 메모리(520)는 분석 결과(입력 정보) 및 출력 패턴을 매핑한 출력 패턴 데이터베이스를 저장할 수 있다. 예를 들어, 상기 출력 패턴 데이터베이스는 아래 <표 1>과 같이 저장될 수 있다.
Figure 112016127813520-pat00001
상기 <표 1>을 참조하면, 상기 출력 패턴은 감정 상태 및 감정 강도에 따라 움직임, 얼굴 표현, 및/또는 배경음이 다르게 설정됨을 알 수 있다. 한편, 상기 <표 1>에서는 2가지의 감정 상태 및 감정 강도만을 포함하고 있지만, 이는 일예일 뿐 본 발명을 한정하지는 않는다. 즉, 상기 출력 패턴 데이터 베이스는 3개 이상의 감정 상태 및 3개 이상의 감정 강도를 포함할 수 있다. 또한, 상기 <표 1>은 입력 정보로 감정 상태 및 감정 강도만을 포함하고 있으나, 다양한 정보를 더 포함할 수 있다. 예를 들어, 상기 입력 정보는 발신자의 연령, 성별, 수신자와 관련된 이벤트, 수신자의 기호 등을 더 포함할 수 있다
상기 터치스크린(530)은 입력 기능 및 출력 기능을 제공할 수 있다. 이를 위하여, 상기 터치스크린(530)은 터치 패널(532) 및 표시 패널(531)를 포함할 수 있다.
상기 표시 패널(531)은 출력 기능을 제공할 수 있다. 상기 표시 패널(531)은 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이로 형성될 수 있다.
상기 표시 패널(531)은, 예를 들면, 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)를 표시할 수 있다. 다양한 실시예에 따른 표시 패널(531)은 전자 장치(500)의 얼굴(503)일 수 있다. 상기 표시 패널(531)은 출력 패턴의 얼굴 표현에 따른 그래픽 요소를 출력할 수 있다.
상기 터치 패널(532)은 입력 기능을 제공할 수 있다. 예를 들어, 상기 터치 패널(532)은 손가락, 스타일러스, 전자펜 등의 입력 도구를 이용한 다양한 터치 입력(예: 탭, 더블 탭, 터치, 터치이동, 멀티 터치, 압력 터치 등)에 의한 물리적 특성(정전 용량, 주파수 등)의 변화를 감지(또는 인식)하고, 이를 프로세서(510)에 전달할 수 있다. 상기 터치 패널(532)은 손가락을 이용한 터치를 감지하는 제1패널(미도시), 전자펜 인식을 위한 제2패널(미도시), 및 압력 감지를 위한 제3패널(미도시)을 포함할 수 있다. 상기 터치 패널(532)은 전자 장치(500)의 기능을 제어하기 위한 사용자 입력을 수신할 수 있다.
상기 통신부(540)는 통신 기능을 수행할 수 있다. 상기 통신부(540)는 유선 또는 무선으로 통신을 수행할 수 있다. 예를 들어, 상기 통신부(540)은 USB 통신 모듈, 이어잭 통신 모듈, WiFi 통신 모듈, 블루투스(Bluetooth: BT) 통신 모듈, NFC(near field communication) 모듈, GPS(global positioning system) 모듈 등을 포함할 수 있다. 한 실시예에 따르면, 상기 WiFi 통신 모듈, BT 통신 모듈, NFC 모듈 또는 GPS 모듈 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
다양한 실시예에 따르면, 상기 통신 모듈(540)은 수신자 소유의 전자 장치(예: 도 2의 제2전자 장치(220)) 또는 외부 전자 장치(예: 도 3의 제2전자 장치(320), 도 4의 제2전자 장치(420))와 통신 채널을 연결할 수 있다. 상기 통신 모듈(540)은 수신자 소유의 전자 장치에 출력 패턴을 전송할 수 있다. 또는, 상기 통신 모듈(540)은 외부 전자 장치와 음성 통화 또는 화상 통화를 위한 통신 채널을 연결할 수 있다. 또한, 상기 통신 모듈(540)은 외부 전자 장치로부터 문자 메시지, 및/또는 이모티콘 등을 수신할 수 있다.
상기 통신 모듈(540)은 감정 분석 서버(미도시)에 발신자의 촬영 이미지 및 입력된 메시지를 전송하고, 감정 분석 서버로부터 발신자의 감정 상태 및/또는 감정 강도에 대한 분석 결과를 수신할 수 있다.
상기 카메라(550)는 피사체를 촬영할 수 있다. 상기 카메라(550)는 CMOS 이미지 센서 또는 CCD 이미지 센서를 포함할 수 있다. 본 발명의 한 실시예에 따른 카메라(550)는 메시지 전달이 요청되었을 때, 발신자를 촬영할 수 있다. 상기 카메라(550)는 수신자를 촬영할 수 있다. 예를 들어, 상기 카메라(550)는 센서 모듈(570)을 통해 피사체 감지 시 활성화되어 피사체(예: 수신자)를 촬영할 수 있다.
상기 오디오 처리 모듈(560)은 오디오 신호를 출력하거나, 입력받을 수 있다. 예를 들어, 상기 오디오 처리 모듈(560)은 오디오 신호를 스피커(SPK)를 통해 출력하고, 마이크(MIC)를 통해 오디오 신호를 입력받을 수 있다.
본 발명의 한 실시예에 따르면, 상기 오디오 처리 모듈(560)은 마이크(MIC)를 통해 발신자의 음성 메시지를 입력받을 수 있다. 상기 오디오 처리 모듈(560)은 수신자 인식 시 출력 패턴에 대응하는 AUI를 스피커(SPK)를 통해 출력할 수 있다. 또는, 상기 오디오 처리 모듈(560)은 발신자의 연령 및 성별 또는 수신자의 기호에 따른 결정된 기계음으로 메시지를 출력할 수 있다. 어떤 실시예에 따르면, 상기 오디오 처리 모듈(560)은 기계음이 아닌 발신자의 음성으로 메시지를 출력할 수 있다.
상기 센서 모듈(570)은 전자 장치(500)에 피사체의 접근을 감지할 수 있다. 상기 피사체의 접근 감지 시 프로세서(510)는 카메라(550)를 활성화하여 피사체를 촬영하고, 수신자인지 확인할 수 있다. 또한, 상기 센서 모듈(570)은 전자 장치(50)의 이동을 제어할 수 있다. 예를 들어, 상기 센서 모듈(570)은 가속도 센서, 지자기 센서, 중력 센서, 적외선 센서 등을 이용하여 이동 속도, 이동 방향, 장애물 등을 인식할 수 있다. 상기 전자 장치(500)가 고정형인 경우 상기 센서 모듈(570) 중 이동 제어와 관련된 센서들은 생략될 수 있다.
상기 구동 모듈(580)은 전자 장치(500)의 움직임을 제어할 수 있다. 예를 들어, 상기 구동 모듈(580)은 수신자에게 메시지를 전달할 때, 출력 패턴 중 움직임에 대응하여 전자 장치(500)를 구동할 수 있다. 예를 들어, 상기 구동 모듈(580)은 제1하우징(501)을 좌우로 회전시키거나, 고개를 끄덕이는 것처럼 제1하우징(501)을 상하로 구동할 수 있다. 어떤 실시예에 따르면, 상기 구동 모듈(580)은 바퀴와 같은 이동 수단을 포함하고, 상기 이동 수단을 제어하여 다른 위치(예: 수신자의 주변)로 전자 장치(500)를 이동시킬 수 있다.
한편, 상기 도 5b에 도시하지 않았지만, 상기 전자 장치(500)는 설명된 구성 요소들 중 일부를 포함하지 않을 수 있다. 다른 실시예에서는, 상기 전자 장치(500)는 설명된 구성 요소들과 동등한 수준의 적어도 하나의 다른 구성 요소(예: 디지털 방송 모듈, 지문 인식 센서, 인터페이스 모듈, 입력 장치, 배터리 등)를 더 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 카메라; 상기 카메라와 기능적으로 연결되는 프로세서; 및 상기 적어도 하나의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나의 프로그램을 저장하는 메모리를 포함하되, 상기 프로그램은 발신자로부터의 메시지의 입력 감지에 대응하여 상기 카메라를 활성화하여 상기 발신자를 촬영하고, 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하고, 상기 분석 결과를 기반으로 수신자 및 출력 패턴을 결정하고, 상기 수신자가 인식되는지 확인하며, 및 상기 수신자가 인식되는 경우 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하도록 설정된 명령어(instruction)를 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로그램은 상기 수신자가 인식되는 경우 상기 수신자의 눈동자를 추적하여, 상기 수신자의 눈동자가 상기 전자 장치를 바라보고 있음을 인식하는 경우 상기 메시지를 전달하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치의 구동을 제어하는 구동 모듈을 더 포함하며, 상기 프로그램은 상기 수신자가 인식되지 않는 경우 상기 수신자의 위치를 확인하고, 상기 확인된 수신자의 위치로 이동하도록 상기 구동 모듈을 제어하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로그램은 상기 전자 장치가 속한 홈 네트워크에 등록된 적어도 하나의 다른 전자 장치들의 사용 여부를 통해 수신자의 위치를 추정하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로그램은 마이크를 통해 일정 크기 이상의 소리를 감지하는 경우 화자 인식을 통해 상기 수신자인지 확인하거나, 상기 카메라를 통해 피사체 감지 시 얼굴 인식을 통해 상기 수신자인지 확인하거나, 외부 전자 장치와 근거리 무선 통신이 연결되는 경우 상기 근거리 무선 통신이 연결된 외부 전자 장치가 상기 수신자의 전자 장치인지 확인하여 상기 수신자를 인식하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로그램은 수신자 정보, 발신자 정보, 상기 발신자의 감정 상태 및 감정의 강도, 상기 수신자와 관련된 이벤트, 상기 수신자의 기호 및 비밀을 요하는 메시지(비밀 메시지) 여부 중 적어도 하나를 분석하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로그램은 상기 비밀 메시지인 경우 상기 수신자의 주변에 다른 사용자가 존재하는지 확인하고, 상기 다른 사용자가 존재하지 않는 경우 상기 수신자에게 상기 비밀 메시지를 전달하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 통신 모듈을 더 포함하고, 상기 프로그램은 상기 수신자 소유의 전자 장치가 존재하는지 확인하고, 상기 수신자 소유의 전자 장치가 존재하는 경우 상기 수신자 소유의 전자 장치로 상기 출력 패턴을 전달하도록 상기 통신 모듈을 제어하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 통신 모듈을 더 포함하고, 상기 프로그램은 상기 통신 모듈을 통해 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 감정 분석 서버에 전송하여 상기 발신자의 감정 상태 및 감정 강도의 분석을 요청하고, 그 결과를 수신하도록 설정된 명령어를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 출력 패턴은 얼굴 표현, 움직임, AUI(auditory user interface) 및 음성 종류 중 적어도 하나를 포함할 수 있다.
도 6은 본 발명의 한 실시예에 따른 전자 장치의 메시지 전달 방법을 설명하기 위한 순서도이다.
상기 도 6을 참조하면, 본 발명의 한 실시예에 따르면, 601 동작에서, 상기 전자 장치(500)의 프로세서(510)는 메시지 입력을 감지할 수 있다. 상기 메시지는 특정 수신자에게 전달하기 위한 메시지일 수 있다. 상기 메시지 입력은 발신자의 음성을 통해 입력될 수 있다. 하지만, 본 발명의 다양한 실시예들이 이에 한정되지는 않는다. 예를 들어, 상기 메시지는 다양한 입력 장치(예: 터치스크린, 키보드 등)를 통해 입력될 수 있으며, 타 전자 장치로부터 전달받을 수 있다.
603 동작에서, 상기 프로세서(510)는 발신자를 촬영할 수 있다. 예를 들어, 상기 프로세서(510)는 음성 입력이 감지되면, 카메라(550)를 활성화하여 발신자의 얼굴을 촬영할 수 있다. 어떤 실시예에 따르면, 상기 프로세서(510)는 발신자의 음성 입력이 종료되면, 카메라(550)를 활성화할 수 있다. 다른 실시예에 따르면, 상기 프로세서(510)는 입력된 음성으로부터 지정된 단어(예: snowball)가 감지되는 경우 카메라(550)를 활성화할 수 있다. 또 다른 실시예에 따르면, 상기 전자 장치(100)는 설정된 제스처 입력, 설정된 메뉴 입력에 대응하여 카메라(550)를 활성화할 수 있다.
605 동작에서, 상기 프로세서(510)는 촬영된 이미지 및 입력된 메시지를 분석할 수 있다. 예를 들어, 상기 프로세서(510)는 사용자 분석, 음성 분석, 비전 분석, 상황 분석, 기호 분석 등을 수행할 수 있다. 여기서, 상기 사용자 분석, 음성 분석, 비전 분석, 상황 분석, 기호 분석에 대한 설명은 상술하였으므로, 생략하기로 한다.
607 동작에서, 상기 프로세서(510)는 분석 결과를 기반으로, 수신자 및 출력 패턴을 결정할 수 있다. 예를 들어, 상기 프로세서(510)는 분석 결과에 따른 발신자의 감정 상태 및/또는 감정 강도, 연령, 성별, 수신자와 관련된 이벤트, 수신자의 기호 등을 고려하여 얼굴 표정, 움직임, 음성 종류, 효과음(배경음) 등을 포함하는 출력 패턴을 결정할 수 있다.
609 동작에서, 상기 프로세서(510)는 수신자가 인식되는지 확인할 수 있다. 예를 들어, 상기 프로세서(510)는 카메라(550)를 통해 사람이 감지되는 경우 얼굴 인식을 통해 수신자인지 확인할 수 있다. 또는, 상기 프로세서(510)는 마이크(MIC)를 통해 사람의 음성이 감지되는 경우 화자 인식을 통해 수신자인지 확인할 수 있다. 또는 상기 프로세서(510)는 수신자 소유의 전자 장치와 근거리 무선 통신이 연결되는 경우 수신자가 주변에 위치하는 것으로 인식할 수 있다.
상기 609 동작에서 수신자가 인식되지 않는 경우 상기 프로세서(510)는 613 동작에서 해당 기능을 수행할 수 있다. 예를 들어, 상기 프로세서(510)는 609 동작을 반복하거나, 새로운 메시지를 입력 받거나, 대기 상태를 유지할 수 있다.
어떤 실시예에 따르면, 상기 수신자가 인식되지 않는 경우 상기 프로세서(510)는 수신자의 위치를 확인하고, 확인된 위치로 이동할 수 있다. 예를 들어, 상기 프로세서(510)는 GPS 등의 위치 정보 수신 모듈이 있는 수신자 소유의 적어도 하나의 전자 장치들에게 위치를 요청하여 수신할 수 있다. 상기 프로세서(510)는 사용자가 위치할 가능성이 가장 큰 위치부터 순차적으로 이동하도록 제어할 수 있다. 예를 들어, 상기 프로세서(510)는 수신자가 착용하고 있을 가능성이 큰 웨어러블 전자 장치가 위치하는 장소로 이동하도록 제어할 수 있다. 또는, 상기 프로세서(510)는 전자 장치(500)가 속한 홈 네트워크에 등록된 수신자 소유의 전자 장치들의 사용 여부를 기반으로 수신자의 위치를 확인할 수 있다. 예를 들어, 상기 프로세서(510)는 수신자의 방에 위치하는 노트북이 사용 중인 경우 수신자가 수신자의 방에 위치하는 것으로 추정할 수 있다.
반면에, 상기 609 동작에서 수신자가 인식되는 경우 상기 프로세서(510)는 613 동작으로 진행하여 상기 결정된 출력 패턴을 기반으로 메시지를 수신자에게 전달할 수 있다. 예를 들어, 상기 프로세서(510)는 결정된 감정 상태 및/또는 감정 강도에 대응하는 얼굴 표정, 움직임, 음성 종류, 효과음(배경음) 등을 이용하여 수신자에게 메시지를 전달할 수 있다.
어떤 실시예에 따르면, 상기 프로세서(510)는 수신자 인식 후 수신자의 눈동자를 추적하여 전자 장치(500)를 바라보고 있는 것으로 판단되었을 때, 상기 메시지를 수신자에게 전달할 수 있다.
어떤 실시예에 따르면, 본 발명의 한 실시예는 상기 601 동작 이전에 메시지 전달 기능을 활성화하는 특정 음성 입력 감지, 제스처 입력 감지 또는 메뉴 입력 감지 등의 동작을 더 포함할 수 있다.
도 7은 본 발명의 한 실시예에 따른 전자 장치의 비밀 메시지 전달 방법을 설명하기 위한 순서도이다.
상기 도 7을 참조하면, 701 동작 내지 711 동작은 상기 도 6의 601 동작 내지 611 동작과 유사하다. 이에 상세한 설명을 생략하기로 한다.
상기 709 동작에서, 수신자가 인식되는 경우 상기 프로세서(510)는 713 동작으로 진행하여 비밀 메시지인지 확인할 수 있다. 상기 비밀 메시지가 아닌 경우 상기 프로세서(510)는 후술하는 719 동작으로 진행할 수 있다. 반면에 상기 비밀 메시지인 경우 상기 프로세서(510)는 715 동작으로 진행하여 주변에 다른 사용자가 존재하는지 확인할 수 있다. 예를 들어, 상기 프로세서(510)는 카메라(550)를 통해 수신자 이외의 다른 사용자가 존재하는지 확인할 수 있다. 또는, 상기 프로세서(510)는 마이크를 통해 수신자 이외의 다른 사용자의 음성이 수신되는지 확인할 수 있다.
상기 주변에 다른 사용자가 존재하는 경우 상기 프로세서(510)는 717 동작으로 진행하여 일정 시간 동안 대기한 후, 715 동작을 재수행할 수 있다. 반면에, 상기 주변에 다른 사용자가 존재하지 않는 경우 상기 프로세서(510)는 719 동작으로 진행할 수 있다.
719 동작에서, 상기 프로세서(510)는 이전(707 동작)에서 결정된 출력 패턴을 기반으로 메시지를 수신자에게 전달할 수 있다.
도 8은 본 발명의 한 실시예에 따른 전자 장치의 메시지 전달 방법을 설명하기 위한 순서도이다.
상기 도 8을 참조하면, 801 동작 내지 807 동작은 도 6의 601 동작 내지 607 동작과 유사하다. 이에 상세한 설명은 생략하기로 한다.
809 동작에서, 본 발명의 한 실시예에 따른 전자 장치(500)의 프로세서(510))는 수신자 소유의 전자 장치(예: 도 2의 제2전자 장치(220))가 존재하는지 확인할 수 있다. 상기 809 동작에서 수신자 소유의 전자 장치가 존재하는 경우 상기 프로세서(510)는 811 동작으로 진행할 수 있다.
811 동작에서, 상기 프로세서(510)는 수신자 소유의 전자 장치로 출력 패턴을 전송하고, 메시지 전달을 위한 프로세서를 종료할 수 있다.
반면에, 상기 809 동작에서 수신자 소유의 전자 장치가 존재하지 않는 경우 상기 프로세서(510)는 813 동작으로 진행할 수 있다. 상기 도 8의 813 내지 823 동작은 상기 도 7의 709 동작 내지 719 동작과 유사하다. 이에 상기 도 8의 813 내지 823 동작에 대한 상세한 설명은 생략하기로 한다.
어떤 실시예에 따르면, 상기 전자 장치(500) 및 수신자 소유의 전자 장치는 분석 동작들을 나누어서 수행할 수 있다. 예를 들어, 상기 전자 장치(500)는 발신자와 관련된 분석 동작(예: 발신자의 감정 상태, 감정의 강도, 연령, 성별 등)을 수행할 수 있다. 상기 수신자 소유의 전자 장치는 수신자와 관련된 분석 동작(예: 수신자의 상황(이벤트), 발신자와의 관계, 수신자의 기호 등)을 수행할 수 있다. 상기 수신자 소유의 전자 장치는 상기 전자 장치(500)로부터 수신한 분석 결과 및 자신의 분석 결과를 조합하여 출력 패턴을 결정할 수 있다. 이러한 경우 807 동작은 발신자의 감정 상태, 감정의 강도, 연령, 성별 등을 분석하는 동작이 될 수 있으며, 상기 811 동작은 상기 전자 장치(210)가 상기 807 동작의 분석 결과 및 입력된 메시지를 상기 수신자 소유의 전자 장치로 전송하는 동작이 될 수 있다.
다른 실시예에 따르면, 상기 분석 동작들은 수신자 소유의 전자 장치에 의해 수행될 수 있다. 이러한 경우 상기 805 동작 및 807 동작은 메시지를 분석하여 수신자를 결정하는 동작이 될 수 있으되며, 상기 811 동작은 상기 전자 장치(210)가 입력된 발신자의 음성 및 촬영된 발신자의 이미지(예: 표정)를 상기 수신자 소유의 전자 장치로 전송하는 동작이 될 수 있다.
도 9는 본 발명의 한 실시예에 따른 메시지 전달 방법을 설명하기 위한 흐름도이다.
상기 도 9를 참조하면, 본 발명의 한 실시예에 따르면, 901 동작에서, 상기 전자 장치(900)는 메시지 입력을 감지할 수 있다. 903 동작에서, 상기 전자 장치(900)는 발신자를 촬영할 수 있다.
904 동작에서, 상기 전자 장치(900)는 촬영된 이미지 및 입력된 메시지를 분석할 수 있다. 예를 들어, 상기 전자 장치(900)는 음성 분석, 비전 분석 등을 이용하여 수신자 인식, 발신자의 연령, 발신자의 성별, 수신자와 관련된 이벤트, 수신자의 기호 등을 확인할 수 있다.
905 동작에서, 상기 전자 장치(900)는 감정 분석 서버(950)에 발신자의 감정 분석을 요청할 수 있다. 이를 위하여, 상기 전자 장치(900)는 촬영된 이미지 및 입력된 메시지를 상기 감정 분석 서버(950)에 전송할 수 있다.
907 동작에서, 상기 감정 분석 서버(950)는 음성 분석, 비전 분석 등을 수행하여, 발신자의 감정 상태 및 감정 강도를 분석할 수 있다.
909 동작에서, 상기 감정 분석 서버(950)는 분석 결과를 전자 장치(900)로 전송할 수 있다.
911 동작에서, 상기 전자 장치(900)는 수신된 발신자의 감정 분석 결과 및 904 동작의 분석 결과를 기반으로 출력 패턴을 결정할 수 있다.
913 동작에서, 상기 전자 장치(900)는 수신자를 인식할 수 있다. 915 동작에서, 상기 전자 장치(900)는 상기 출력 패턴을 기반으로 상기 인식된 수신자에게 메시지를 전달할 수 있다.
상술한 본 발명의 한 실시예는 전자 장치(900)가 아닌 서버단에서 빅데이터를 기반으로 발신자의 감정 분석을 수행할 수 있다. 이로 인하여, 본 발명의 한 실시예는 감정 분석을 정확하며, 용이하게 수행할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 메시지 전달 방법은 발신자로부터의 메시지의 입력 감지에 대응하여, 상기 발신자를 촬영하는 동작; 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하는 동작; 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석한 결과를 기반으로, 수신자 및 출력 패턴을 결정하는 동작; 상기 수신자가 인식되는지 확인하는 동작; 및 상기 수신자가 인식되는 경우 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 수신자를 인식하는 동작은 상기 수신자의 얼굴을 인식하는 동작; 및 상기 수신자의 눈동자를 추적하여, 상기 수신자의 눈동자가 상기 전자 장치를 바라보고 있음을 인식하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 수신자를 인식하는 동작은 상기 수신자의 위치를 확인하는 동작; 및 상기 확인된 수신자의 위치로 이동하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 수신자의 위치를 확인하는 동작은 상기 전자 장치가 속한 홈 네트워크에 등록된 적어도 하나의 다른 전자 장치들의 사용 여부를 통해 수신자의 위치를 추정하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 인식하는 동작은 마이크를 통해 일정 크기 이상의 소리를 감지하는 경우 화자 인식을 통해 상기 수신자인지 확인하는 동작; 카메라를 통해 피사체 감지 시 얼굴 인식을 통해 상기 수신자인지 확인하는 동작; 및 외부 전자 장치와 근거리 무선 통신이 연결되는 경우 상기 근거리 무선 통신이 연결된 외부 전자 장치가 상기 수신자 소유의 외부 전자 장치인지 확인하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 분석하는 동작은 수신자 정보 및 발신자 정보를 분석하는 동작; 상기 발신자의 감정 상태 및 감정의 강도 중 적어도 하나를 분석하는 동작; 상기 수신자와 관련된 이벤트를 분석하는 동작; 상기 수신자의 기호를 분석하는 동작; 비밀을 요하는 메시지(비밀 메시지)인지 분석하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 발신자의 감정 상태 및 감정의 강도 중 적어도 하나를 분석하는 동작은 상기 전자 장치내의 감정 분석 엔진 또는 감정 분석 서버에 의해 수행될 수 있다.
다양한 실시예에 따르면, 상기 인식된 수신자에게 메시지를 전달하는 동작은 상기 비밀 메시지인 경우 상기 수신자의 주변에 다른 사용자가 존재하는지 확인하는 동작; 및 상기 다른 사용자가 존재하지 않는 경우 상기 수신자에게 상기 비밀 메시지를 전달하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치가 상기 수신자가 소유하고 있는 전자 장치(수신자 소유 전자 장치)가 존재하는지 확인하는 동작; 상기 수신자 소유 전자 장치가 존재하는 경우 상기 수신자 소유 전자 장치로 상기 출력 패턴을 전달하는 동작; 및 상기 수신자 소유 전자 장치가 상기 출력 패턴에 따라 상기 메시지를 상기 인식된 수신자에게 전달하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 출력 패턴을 결정하는 동작은 얼굴 표현, 움직임, 효과음, AUI(auditory user interface) 및 음성 종류 중 적어도 하나를 결정하는 동작일 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 이상의 조합으로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device)를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장매체(computer-readable storage media)(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다.
다양한 실시예에 따르면, 적어도 하나의 명령들을 저장하고 있는 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 발신자로부터의 메시지의 입력 감지에 대응하여, 상기 발신자를 촬영하는 동작; 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하는 동작; 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석한 결과를 기반으로, 수신자 및 출력 패턴을 결정하는 동작; 상기 수신자가 인식되는지 확인하는 동작; 및 상기 수신자가 인식되는 경우 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하는 동작을 포함할 수 있다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 문서에 개시된 실시예는 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
500: 전자 장치
510: 프로세서 520: 메모리
530: 터치스크린 531: 표시 패널
532: 터치 패널 540: 통신 모듈
550: 카메라 560: 오디오 처리 모듈
570: 센서 모듈 580: 구동 모듈

Claims (20)

  1. 로봇 형태의 전자 장치에 있어서,
    카메라;
    상기 카메라와 기능적으로 연결되는 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나의 프로그램을 저장하는 메모리를 포함하되,
    상기 프로그램은,
    발신자로부터의 메시지의 입력 감지에 응답하여, 상기 카메라를 활성화하여 상기 발신자를 촬영하고,
    상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하고,
    상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석한 결과에 기반하여, 수신자 및 출력 패턴을 결정하고,
    상기 수신자가 인식되는지 확인하고,
    상기 수신자가 인식되는 경우, 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하도록 설정된 명령어(instruction)를 포함하되,
    상기 출력 패턴은, 상기 로봇 형태의 전자 장치의 얼굴 표현 또는 움직임 중 적어도 하나를 포함하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로그램은,
    상기 수신자가 인식되는 경우, 상기 수신자의 눈동자를 추적하고,
    상기 수신자의 눈동자가 상기 전자 장치를 바라보고 있음을 인식하는 경우, 상기 메시지를 전달하도록 설정된 명령어를 더 포함하는 전자 장치.
  3. 제 1 항에 있어서,
    상기 전자 장치의 움직임을 제어하는 구동 모듈을 더 포함하며,
    상기 프로그램은,
    상기 수신자가 인식되지 않는 경우, 상기 수신자의 위치를 확인하고,
    상기 확인된 수신자의 위치로 상기 전자 장치가 이동하도록 상기 구동 모듈을 제어하도록 설정된 명령어를 더 포함하는 전자 장치.
  4. 제 3 항에 있어서,
    상기 프로그램은,
    상기 전자 장치가 속한 홈 네트워크에 등록된 적어도 하나의 다른 전자 장치의 사용 여부에 기반하여, 상기 수신자의 위치를 추정하도록 설정된 명령어를 더 포함하는 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로그램은,
    마이크를 통해 일정 크기 이상의 소리를 감지하는 경우, 상기 감지된 소리에 기반한 화자 인식을 통해 상기 수신자를 인식하거나,
    상기 카메라를 통해 피사체를 감지하는 경우, 상기 감지된 피사체에 기반한 얼굴 인식을 통해 상기 수신자를 인식하거나,
    외부 전자 장치와 근거리 무선 통신이 연결되는 경우, 상기 근거리 무선 통신이 연결된 상기 외부 전자 장치가 상기 수신자의 전자 장치인지 확인하여 상기 수신자를 인식하도록 설정된 명령어를 더 포함하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로그램은,
    수신자 정보, 발신자 정보, 상기 발신자의 감정 상태 및 감정의 강도, 상기 수신자와 관련된 이벤트, 상기 수신자의 기호 또는 상기 메시지가 비밀을 요하는 메시지인지 여부 중 적어도 하나를 분석하도록 설정된 명령어를 포함하는 전자 장치.
  7. 제 6 항에 있어서,
    상기 프로그램은,
    상기 메시지가 상기 비밀을 요하는 메시지인 경우, 상기 수신자의 주변에 다른 사용자가 존재하는지 확인하고,
    상기 수신자의 주변에 상기 다른 사용자가 존재하지 않는 경우, 상기 수신자에게 상기 메시지를 전달하도록 설정된 명령어를 더 포함하는 전자 장치.
  8. 제 1 항에 있어서,
    통신 모듈을 더 포함하고,
    상기 프로그램은,
    상기 수신자가 소유하고 있는 전자 장치가 존재하는지 확인하고,
    상기 수신자가 소유하고 있는 전자 장치가 존재하는 경우, 상기 수신자가 소유하고 있는 전자 장치로 상기 출력 패턴을 전달하도록 상기 통신 모듈을 제어하도록 설정된 명령어를 더 포함하는 전자 장치.
  9. 제 1 항에 있어서,
    통신 모듈을 더 포함하고,
    상기 프로그램은,
    상기 통신 모듈을 통해 상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 서버에 전송하여 상기 발신자의 감정 상태 및 감정 강도의 분석을 요청하고,
    상기 통신 모듈을 통해 상기 서버로부터 상기 발신자의 감정 상태 및 감정 강도의 분석 결과를 수신하도록 설정된 명령어를 더 포함하는 전자 장치.
  10. 제 1 항에 있어서,
    상기 출력 패턴은,
    AUI(auditory user interface) 또는 음성 종류 중 적어도 하나를 더 포함하는 전자 장치.
  11. 로봇 형태의 전자 장치의 메시지를 전달하는 방법에 있어서,
    발신자로부터의 메시지의 입력 감지에 응답하여, 카메라를 이용하여 상기 발신자를 촬영하는 동작;
    상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석하는 동작;
    상기 촬영된 발신자의 이미지 및 상기 입력된 메시지를 분석한 결과에 기반하여, 수신자 및 출력 패턴을 결정하는 동작;
    상기 수신자가 인식되는지 확인하는 동작; 및
    상기 수신자가 인식되는 경우, 상기 결정된 출력 패턴을 기반으로 상기 인식된 수신자에게 상기 메시지를 전달하는 동작을 포함하되,
    상기 출력 패턴은, 상기 로봇 형태의 전자 장치의 얼굴 표현 또는 움직임 중 적어도 하나를 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 수신자가 인식되는지 확인하는 동작은,
    상기 수신자가 인식되는 경우, 상기 수신자의 눈동자를 추적하는 동작을 포함하고,
    상기 메시지를 전달하는 동작은,
    상기 수신자의 눈동자가 상기 전자 장치를 바라보고 있음을 인식하는 경우, 상기 메시지를 전달하는 동작을 포함하는 방법.
  13. 제 11 항에 있어서,
    상기 수신자가 인식되지 않는 경우, 상기 수신자의 위치를 확인하는 동작; 및
    상기 확인된 수신자의 위치로 상기 전자 장치가 이동하도록 구동 모듈을 제어하는 동작을 더 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 수신자의 위치를 확인하는 동작은,
    상기 전자 장치가 속한 홈 네트워크에 등록된 적어도 하나의 다른 전자 장치의 사용 여부에 기반하여, 상기 수신자의 위치를 추정하는 동작을 더 포함하는 방법.
  15. 제 11 항에 있어서,
    상기 수신자가 인식되는지 확인하는 동작은,
    마이크를 통해 일정 크기 이상의 소리를 감지하는 경우, 상기 감지된 소리에 기반한 화자 인식을 통해 상기 수신자를 인식하는 동작;
    상기 카메라를 통해 피사체를 감지하는 경우, 상기 감지된 피사체에 기반한 얼굴 인식을 통해 상기 수신자를 인식하는 동작; 또는
    외부 전자 장치와 근거리 무선 통신이 연결되는 경우, 상기 근거리 무선 통신이 연결된 상기 외부 전자 장치가 상기 수신자의 전자 장치인지 확인하여 상기 수신자를 인식하는 동작 중 적어도 하나를 포함하는 방법.
  16. 제 11 항에 있어서,
    상기 분석하는 동작은,
    수신자 정보 및 발신자 정보를 분석하는 동작;
    상기 발신자의 감정 상태 및 감정의 강도 중 적어도 하나를 분석하는 동작;
    상기 수신자와 관련된 이벤트를 분석하는 동작;
    상기 수신자의 기호를 분석하는 동작; 또는
    상기 메시지가 비밀을 요하는 메시지인지 여부를 분석하는 동작 중 적어도 하나를 포함하는 방법.
  17. 제 16 항에 있어서,
    상기 발신자의 감정 상태 및 감정의 강도 중 적어도 하나를 분석하는 동작은,
    상기 전자 장치 내의 감정 분석 엔진 또는 통신 모듈을 통해 연결된 감정 분석 서버에 의해 수행되는 방법.
  18. 제 16 항에 있어서,
    상기 메시지를 전달하는 동작은,
    상기 메시지가 상기 비밀을 요하는 메시지인 경우, 상기 수신자의 주변에 다른 사용자가 존재하는지 확인하는 동작; 및
    상기 수신자의 주변에 상기 다른 사용자가 존재하지 않는 경우, 상기 수신자에게 상기 메시지를 전달하는 동작을 포함하는 방법.
  19. 제 11 항에 있어서,
    상기 수신자가 소유하고 있는 전자 장치가 존재하는지 확인하는 동작; 및
    상기 수신자가 소유하고 있는 전자 장치가 존재하는 경우, 상기 수신자가 소유하고 있는 전자 장치로 상기 출력 패턴을 전달하는 동작을 더 포함하는 방법.
  20. 제 11 항에 있어서,
    상기 출력 패턴은,
    AUI(auditory user interface) 또는 음성 종류 중 적어도 하나를 더 포함하는 방법.
KR1020160179774A 2016-12-27 2016-12-27 전자 장치 및 그의 메시지 전달 방법 KR102616403B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160179774A KR102616403B1 (ko) 2016-12-27 2016-12-27 전자 장치 및 그의 메시지 전달 방법
US16/474,386 US11165728B2 (en) 2016-12-27 2017-12-21 Electronic device and method for delivering message by to recipient based on emotion of sender
EP17887937.5A EP3550812B1 (en) 2016-12-27 2017-12-21 Electronic device and method for delivering message by same
PCT/KR2017/015232 WO2018124633A1 (ko) 2016-12-27 2017-12-21 전자 장치 및 그의 메시지 전달 방법
EP24154837.9A EP4340341A2 (en) 2016-12-27 2017-12-21 Electronic device and method for delivering message by same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179774A KR102616403B1 (ko) 2016-12-27 2016-12-27 전자 장치 및 그의 메시지 전달 방법

Publications (2)

Publication Number Publication Date
KR20180075875A KR20180075875A (ko) 2018-07-05
KR102616403B1 true KR102616403B1 (ko) 2023-12-21

Family

ID=62710911

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179774A KR102616403B1 (ko) 2016-12-27 2016-12-27 전자 장치 및 그의 메시지 전달 방법

Country Status (4)

Country Link
US (1) US11165728B2 (ko)
EP (2) EP4340341A2 (ko)
KR (1) KR102616403B1 (ko)
WO (1) WO2018124633A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
KR102433393B1 (ko) * 2017-12-12 2022-08-17 한국전자통신연구원 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
JP6800183B2 (ja) * 2018-07-13 2020-12-16 本田技研工業株式会社 コミュニケーション装置
KR102012968B1 (ko) * 2018-08-07 2019-08-27 주식회사 서큘러스 인터렉션 로봇의 제어 방법 및 제어 서버
KR20200034039A (ko) * 2018-09-14 2020-03-31 엘지전자 주식회사 로봇 및 그 동작 방법
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
KR20210041757A (ko) 2019-10-08 2021-04-16 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001016514A (ja) * 1999-06-30 2001-01-19 Matsushita Electric Ind Co Ltd 認識機能付表示装置
US20030097411A1 (en) 2001-11-20 2003-05-22 Litwin Louis Robert Method and apparatus for providing caller ID information with voicemail services supplied by the phone company
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
US8160549B2 (en) * 2004-02-04 2012-04-17 Google Inc. Mood-based messaging
KR100686076B1 (ko) * 2005-03-24 2007-02-26 엘지전자 주식회사 피사체의 감정 상태에 대응하는 메시지 출력 기능을 갖는무선 통신 단말기 및 이를 이용한 메시지 출력 방법
US8583282B2 (en) * 2005-09-30 2013-11-12 Irobot Corporation Companion robot for personal interaction
JP4594857B2 (ja) 2005-12-12 2010-12-08 本田技研工業株式会社 受付システム
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
US8265793B2 (en) * 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US20090110246A1 (en) * 2007-10-30 2009-04-30 Stefan Olsson System and method for facial expression control of a user interface
KR20090105198A (ko) * 2008-04-01 2009-10-07 주식회사 케이티 감성 메시지 전송 방법 및 장치
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
CN101686442A (zh) * 2009-08-11 2010-03-31 深圳华为通信技术有限公司 一种利用无线终端实现用户心情共享的方法及装置
US20150206000A1 (en) * 2010-06-07 2015-07-23 Affectiva, Inc. Background analysis of mental state expressions
FR2963132A1 (fr) * 2010-07-23 2012-01-27 Aldebaran Robotics Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
US20120233633A1 (en) * 2011-03-09 2012-09-13 Sony Corporation Using image of video viewer to establish emotion rank of viewed video
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
CN102780651A (zh) * 2012-07-21 2012-11-14 上海量明科技发展有限公司 在即时通信消息中加注情绪数据的方法、客户端及系统
US20140157153A1 (en) * 2012-12-05 2014-06-05 Jenny Yuen Select User Avatar on Detected Emotion
KR101505078B1 (ko) * 2013-02-27 2015-03-23 주식회사 케이티 이동 로봇에서의 퀴즈 게임 서비스 제공 방법 및 이를 위한 이동 로봇
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
EP2974273A4 (en) * 2013-03-15 2018-01-10 Jibo, Inc. Apparatus and methods for providing a persistent companion device
KR102173123B1 (ko) 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20170024087A1 (en) * 2013-11-27 2017-01-26 Shyam PATHY Integration of emotional artifacts into textual information exchange
US9575321B2 (en) * 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9577963B2 (en) * 2014-03-21 2017-02-21 Stefan Dowdell Application for augmenting a message with emotional content
US9509648B2 (en) * 2014-04-11 2016-11-29 International Business Machines Corporation Associating sentiment with objects presented via social media
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
EP2933064A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics System, method and computer program product for handling humanoid robot interaction with human
US10708203B2 (en) * 2014-06-25 2020-07-07 Convergence Acceleration Solutions, Llc Systems and methods for indicating emotions through electronic self-portraits
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US10594638B2 (en) * 2015-02-13 2020-03-17 International Business Machines Corporation Point in time expression of emotion data gathered from a chat session
JP6594646B2 (ja) * 2015-04-10 2019-10-23 ヴイストン株式会社 ロボット及びロボット制御方法並びにロボットシステム
US10133918B1 (en) * 2015-04-20 2018-11-20 Snap Inc. Generating a mood log based on user images
US10303245B2 (en) * 2015-05-04 2019-05-28 Adobe Inc. Methods and devices for detecting and responding to changes in eye conditions during presentation of video on electronic devices
US9818228B2 (en) * 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US20180077095A1 (en) * 2015-09-14 2018-03-15 X Development Llc Augmentation of Communications with Emotional Data
KR102558873B1 (ko) * 2016-03-23 2023-07-25 한국전자통신연구원 상호 작용 장치 및 그것의 상호 작용 방법
US10168859B2 (en) * 2016-04-26 2019-01-01 International Business Machines Corporation Contextual determination of emotion icons
US20170364484A1 (en) * 2016-06-21 2017-12-21 VTCSecure LLC Enhanced text metadata system and methods for using the same
GB2565959B (en) * 2016-07-11 2021-10-13 Groove X Inc Autonomously acting robot
US10573048B2 (en) * 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
JP6727413B2 (ja) * 2016-08-22 2020-07-22 スノー コーポレーション メッセージ共有方法及びコンピュータプログラム
US10305850B1 (en) * 2016-11-15 2019-05-28 Majid Aziz Enhanced instant messaging social network system
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
US20180229372A1 (en) * 2017-02-10 2018-08-16 JIBO, Inc. Maintaining attention and conveying believability via expression and goal-directed behavior with a social robot
US10484320B2 (en) * 2017-05-10 2019-11-19 International Business Machines Corporation Technology for multi-recipient electronic message modification based on recipient subset
US10261991B2 (en) * 2017-09-12 2019-04-16 AebeZe Labs Method and system for imposing a dynamic sentiment vector to an electronic message
US10706271B2 (en) * 2018-04-04 2020-07-07 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
US10699104B2 (en) * 2018-05-03 2020-06-30 International Business Machines Corporation Image obtaining based on emotional status
US10346541B1 (en) * 2018-10-05 2019-07-09 Capital One Services, Llc Typifying emotional indicators for digital messaging

Also Published As

Publication number Publication date
US20190342243A1 (en) 2019-11-07
WO2018124633A1 (ko) 2018-07-05
EP3550812B1 (en) 2024-03-13
EP3550812A1 (en) 2019-10-09
US11165728B2 (en) 2021-11-02
EP3550812A4 (en) 2019-12-25
EP4340341A2 (en) 2024-03-20
EP3550812C0 (en) 2024-03-13
KR20180075875A (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
KR102616403B1 (ko) 전자 장치 및 그의 메시지 전달 방법
US11354843B2 (en) Animated chat presence
KR102559625B1 (ko) 증강 현실 출력 방법 및 이를 지원하는 전자 장치
KR102584184B1 (ko) 전자 장치 및 그 제어 방법
KR102361568B1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
KR20170017289A (ko) 콘텐츠를 송수신하는 전자 장치 및 방법
US20220206581A1 (en) Communication interface with haptic feedback response
US11989348B2 (en) Media content items with haptic feedback augmentations
US20220317773A1 (en) Real-time communication interface with haptic and audio feedback response
US11531400B2 (en) Electronic communication interface with haptic feedback response
US20220317774A1 (en) Real-time communication interface with haptic and audio feedback response
EP4272062A1 (en) Communication interface with haptic feedback response
WO2022212175A1 (en) Interface with haptic and audio feedback response
WO2022212174A1 (en) Interface with haptic and audio feedback response
WO2022212177A1 (en) Virtual reality interface with haptic feedback response
US20150172376A1 (en) Method for providing social network service and electronic device implementing the same
US11988841B2 (en) Voice input for AR wearable devices
US11922096B1 (en) Voice controlled UIs for AR wearable devices
US20230254448A1 (en) Camera-less representation of users during communication sessions
US20240184372A1 (en) Virtual reality communication interface with haptic feedback response
WO2023220051A1 (en) Dynamic augmented reality experience
WO2024054381A1 (en) Selecting a tilt angle of an ar display

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant