CN103916536B - 用于移动终端中的用户界面方法和系统 - Google Patents

用于移动终端中的用户界面方法和系统 Download PDF

Info

Publication number
CN103916536B
CN103916536B CN201410005428.5A CN201410005428A CN103916536B CN 103916536 B CN103916536 B CN 103916536B CN 201410005428 A CN201410005428 A CN 201410005428A CN 103916536 B CN103916536 B CN 103916536B
Authority
CN
China
Prior art keywords
image
mood
indicates
mobile terminal
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410005428.5A
Other languages
English (en)
Other versions
CN103916536A (zh
Inventor
郑志惠
崔普根
姜斗锡
李昌浩
林灑美
郑义昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103916536A publication Critical patent/CN103916536A/zh
Application granted granted Critical
Publication of CN103916536B publication Critical patent/CN103916536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J1/00—Saddles or other seats for cycles; Arrangement thereof; Component parts
    • B62J1/18—Covers for saddles or other seats; Paddings
    • B62J1/26—Paddings involving other resilient material, e.g. sponge rubber with inflatable compartments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J1/00—Saddles or other seats for cycles; Arrangement thereof; Component parts
    • B62J1/002—Saddles having a seating area with a central cavity or depression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J1/00—Saddles or other seats for cycles; Arrangement thereof; Component parts
    • B62J1/007—Saddles with specific anatomical adaptations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)

Abstract

一种用于移动终端中的用户界面方法激活摄像机模块以支持视频聊天功能并使用摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态。将所识别的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态进行比较。响应于所述比较，产生情绪表示图像，并将所产生的情绪表示图像发送到视频聊天中使用的对端终端。

Description

用于移动终端中的用户界面方法和系统
技术领域
本公开涉及一种例如在双向图像通信的移动终端中采用面部识别的用户界面，更具体地涉及用于移动终端中的用户界面方法和系统。
背景技术
已知的移动终端具有视频呼叫能力，包括支持双向图像通信的摄像机模块。响应于建立了呼叫，移动终端提供视频呼叫菜单。此外，响应于对应的对端用户接受视频呼叫请求，移动终端可以获取并发送图像。在视频呼叫中，当实时获取并发送图像时，希望终端提供低延时和高数据吞吐量。由于所发送的数据量是确定呼叫相关费用的主要因素，视频呼叫可能是昂贵的通信方式。因此，尽管视频呼叫能够进行面对面对话，它可能被认为是很少使用的特征或在特殊情况下使用的特征。此外，在视频呼叫期间，摄像机模块保持连续获取图像以实时发送。这比仅进行语音呼叫所消耗的功率量大得多，减少了移动终端在电池重新充电之间的连续操作时间并缩短了电池寿命。
发明内容
本公开提供的系统解决上述缺点和/或相关问题。该系统响应于检测到的发言用户面部表情的改变，提供了支持双向静态图像通信的基于面部识别的用户界面。采用面部识别的用户界面可以用于双向图像通信的移动终端中，以在降低功率消耗的同时辅助视频呼叫功能以及数据管理。
根据本公开的一个方面的用于移动终端中的用户界面方法激活摄像机模块以支持视频聊天功能并使用摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态。将所识别的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态进行比较。响应于所述比较，产生情绪表示图像，并将所产生的情绪表示图像发送到视频聊天中使用的对端终端。
可选地，所述识别面部的当前情绪状态包括：通过特征边界边缘检测来识别面部特征，所述特征边界边缘检测包括确定像素亮度的过渡；以及使用所识别的面部特征的变换，将所识别的面部特征与跟情绪相关联的预定特征进行比较，所述变换包括平移、缩放以及旋转操作中的至少一个。可选地，所述方法还包括：当所识别的当前情绪状态与所述先前情绪状态相同时，发送对当前情绪状态与先前情绪状态之间的相似性加以表示的消息，而不产生和传输情绪表示图像。响应于以下中的至少一个来执行摄像机模块的激活：视频聊天中的时间段期满、激活支持视频聊天的消息应用、产生用于在视频聊天期间写入消息的输入事件、产生用于在视频聊天期间发送所写消息的输入事件、或产生阅读或回复所接收消息的输入事件。获取目标对象的图像包括以下中的至少一个：从摄像机模块提供的系列预览图像中选择图像；以及在输出预定通知之后获取目标对象的图像。
可选地，产生情绪表示图像包括：通过调整摄像机获取的图像的分辨率以及尺寸并将与所识别的当前情绪状态有关的文本信息并入所述情绪表示图像，来产生预定尺寸的情绪表示图像。响应于确定所获取的图像不包括目标对象的面部，产生表示用户离开的消息，并将表示用户离开的消息发送到对端终端。
可选地，该用户界面方法包括：接收情绪表示图像相关信息，所述情绪表示图像相关信息标识响应于对视频聊天期间由对端终端获取的图像进行分析而推断的情绪；以及输出从所接收的情绪表示图像相关信息中提取的情绪表示图像。接收情绪表示图像相关信息包括：接收涉及所标识的情绪状态的文本信息，以及当与当前所接收情绪表示图像相关联的情绪状态类似于与先前所接收的情绪表示图像相关联的情绪状态时，接收对情绪表示图像的相似性加以表示的消息。输出情绪表示图像包括将文本信息和情绪表示图像一起输出。输出情绪表示图像包括：在显示图像中输出情绪表示图像区域以用于输出情绪表示图像；输出用于输出向对端终端发送的和从对端终端接收的消息的聊天消息区域；以及输出用于输入聊天会话的信息的输入区域。
可选地，该用户界面方法接收对用于选择在情绪表示图像区域中输出的情绪表示图像的输入事件加以表示的数据，该方法向对端终端发送对所选情绪表示图像的原始图像请求，并以全屏形式显示所选情绪表示图像。响应于所接收的表示输入事件的数据，该方法选择情绪表示图像以在情绪表示图像区域中输出；并执行对情绪表示图像区域中输出的情绪表示图像的幻灯片放映。该方法还输出用于在所显示图像中输出消息的聊天消息区域，并输出用于输入聊天会话的信息的输入区域。响应于所接收的数据表示输入事件，所述方法浏览所发送的和接收的情绪表示图像的记录，并将所发送的和接收的情绪表示图像按用户进行分组，针对单独用户输出分组后的情绪表示图像，并将接收的与情绪表示图像相关联的消息和相应的情绪表示图像一起输出。所述方法响应于确定对端终端所获取的图像不包含面部，接收表示用户离开的消息。此外，响应于接收到表示用户离开的消息显示用户离开表示，并以与其他情绪表示图像容易区分的方式显示与新接收消息相关联的情绪表示图像。
根据本公开另一方面的用于移动终端中的用户界面系统响应于预定命令激活摄像机模块，并使用该摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，该系统通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态。该系统确定所识别的面部的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态之间的相似性。响应于所识别的当前情绪状态与所述先前情绪状态不具有相似性，该系统基于所获取的图像产生情绪表示图像，并将所产生的情绪表示图像发送到对端终端，以及响应于所识别的当前情绪状态与所述先前情绪状态具有相似性，发送表示所识别的当前情绪状态与所述先前情绪状态之间的相似性的消息。
根据本公开又一方面的用于移动终端中的用户界面方法响应于发生预设事件激活摄像机模块，并使用该摄像机模块获取目标对象的图像。响应于在所获取的图像中检测到面部，所述方法分析面部图像数据以识别面部的情绪状态，并响应于对面部图像数据的分析输出情绪状态信息以及情绪表示图像。该方法存储情绪状态信息以及情绪表示图像，并临时存储情绪表示图像的原始图像。响应于以下中的至少一个来执行摄像机模块的激活：激活用户功能、在聊天会话期间写入消息、在聊天会话期间发起消息发送请求、以及在视频呼叫期间收集语音信号。
根据本公开再一方面的用于移动终端中的用户界面系统包括：摄像机模块，响应于在视频聊天期间产生表示预设事件的数据，获取目标对象的图像；以及控制单元，响应于在所获取的图像中检测到面部，控制：通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态；确定所识别的面部的当前情绪状态与目标对象的先前获取的面部图像的先前情绪状态之间的相似性；以及响应于所识别的当前情绪状态与所述先前情绪状态不具有相似性，基于所获取的图像产生情绪表示图像，并将所产生的情绪表示图像发送到对端终端，以及响应于所识别的当前情绪状态与所述先前情绪状态具有相似性，发送表示所识别的当前情绪状态与所述先前情绪状态之间的相似性的消息。显示单元将文本情绪状态信息重叠显示在显示情绪表示图像的区域上。当在情绪表示图像区域中产生用于选择一个情绪表示图像的输入事件时，所述显示单元以全屏形式显示所选情绪表示图像，或输出与所选情绪表示图像相关的情绪表示图像的幻灯片。控制单元控制输出以下中的至少一个以通知使用摄像机模块获取了图像：灯光闪烁、模式振动、声音通知、增亮、和弹出窗口，以通知使用摄像机模块获取了图像。视频聊天支持即时消息服务或视频呼叫服务。
附图说明
根据结合附图的以下详细描述，将更清楚本公开的特定实施例的以上和其他方面、特征和优点，附图中：
图1示出了根据本发明原理支持基于面部识别的消息功能的系统；
图2示出了根据本发明原理支持基于面部识别的消息功能的移动终端；
图3示出了根据本发明原理的图2中的移动终端的控制单元；
图4示出了根据本发明原理支持视频聊天模式的方法的流程图；
图5示出了根据本发明原理支持视频聊天模式的另一方法的流程图；
图6示出了根据本发明原理的移动终端的屏幕界面；
图7和图8示出了根据本发明原理的面部情绪表示图像输出；
图9示出了根据本发明原理向面部情绪表示图像显示施加的视觉效果；
图10示出了根据本发明原理的先前情绪表示图像浏览。
图11示出了根据本发明原理在视频聊天会话中对用户离开的处理：
图12示出了根据本发明原理浏览对情绪表示图像的记录；以及
图13和14示出了根据本发明原理在聊天会话中显示情绪表示的图像。
具体实施方式
下文中，参考附图详细描述了本公开的示例性实施例。可以省略这里包括的公知功能和结构的详细描述，以避免混淆本公开的主题。还省略了对具有实质上相同配置和功能的组件的详细描述。在附图中，夸大或仅简述了一些元件，因此可能不是按比例进行绘制的。本公开不受附图中对象的相对尺寸和对象之间的间隔的限制。
以下描述中，将消息功能用作基于面部识别的用户功能的主要示例。然而，本公开不限于此。本公开可以应用于涉及面部图像获取和发送的移动终端的任何用户功能，例如，视频呼叫功能。
图1示出了支持基于面部识别的消息功能的系统10。支持系统10包括发送方终端101、接收方终端102以及通信系统300，通信系统300在发送方终端101和接收方终端102之间执行数据发送。摄像机用于获取用户的面部图像。对所获取的图像进行分析以检测用户的情绪改变。根据检测结果确定是发送所获取的图像还是发送情绪表示图像。因此，支持系统10可以通过发送面部情绪表示图像产生视频呼叫效果。具体地，根据附加设置，支持系统10可以响应于检测到的情绪改变，发送情绪表示图像，从而在保持视频呼叫效果的同时显著降低数据发送量。支持系统10允许摄像机响应于激活消息功能并满足预设条件来进行操作，以降低由摄像机消耗的功率。支持系统10使得移动终端能够响应于消息功能产生视频呼叫效果，并以比视频呼叫小得多的功耗进行操作。
当响应于用户请求进入与基于面部识别的消息功能相对应的视频聊天模式时，发送方终端101响应于发生预设事件条件激活摄像机模块，以获取用户的面部图像并分析所获取的面部图像。发送方终端101可以发送情绪表示图像以及相关的分析信息，用减少的数据传输资源产生视频呼叫效果。当所获取的面部图像表示与先前情绪状态实质上相同的情绪状态时，发送方终端101可以跳过对所获取的面部图像的发送。可以在激活消息功能期间以固定间隔执行或响应于发送方终端101发送了消息来执行选择发送所获取的图像。发送方终端101可以在它的显示单元上输出面部情绪表示图像。
发送方终端101可以包括摄像机模块、支持即时消息或聊天的消息功能程序、以及发送和接收所获取的图像和消息的通信单元。为了进行情绪分析，发送方终端101支持根据面部特征要素(例如，眼睛、鼻子、耳朵、前额、颧骨、下巴、脸颊以及面部外貌)的改变进行情绪分类。例如，发送方终端101可以配备情绪分类数据库，以支持根据例如眼睛形状改变、嘴巴张开或嘴角改变、耳朵改变、前额褶皱改变、下巴位置改变、脸颊形状改变、面部阴影改变来识别用户的情绪状态。当获取了用户的面部图像时，发送方终端101可以通过将所获取的面部图像与情绪分类数据库进行比较，来识别用户的当前情绪状态。
情绪分类数据库支持识别对情绪状态(例如，高兴、悲伤、生气、惊讶、害怕和讨厌)的识别，并且可以根据所存储数据的详细级别支持更详细的情绪分类。发送方终端101可以预存情绪分类数据情绪分类数据库，或存储通过通信单元从外部接收的情绪分类数据库，并且可以以规则间隔更新该数据库或当产生新信息时更新该数据库，以实现更准确和详细的情绪分析。
接收方终端102从发送方终端101接收情绪表示图像，并输出所接收的情绪表示图像。接收方终端102可以响应于发送方终端101的发送模式，执行图像接收和更新。例如，在激活消息功能期间，响应于发送方终端101在预设周期内获取面部图像并且在检测到情绪状态改变时发送所获取的图像，接收方终端102可以接收情绪表示图像并响应于该周期输出该情绪表示图像。响应于发送方终端101发送情绪表示图像以及消息，接收方终端102可以接收对情绪状态不同于先前情绪状态加以表示的情绪表示图像以及消息，或接收对没有情绪状态改变加以表示的信息和消息。
接收方终端102在显示单元的消息功能支持界面上输出情绪表示图像。接收方终端102可以响应于不同设置，输出所接收的情绪表示图像。例如，接收方终端102可以为显示的图像配置用于输出使用消息功能的用户的情绪表示图像的单独区域，并在该单独配置的区域中输出当前用户的情绪表示图像。接收方终端102可以在输出所交换的消息的消息输出屏幕上布置关于用户的图像的区域，并在该消息输出屏幕的所配置的区域中输出当前用户的情绪表示图像。
通信系统300配置为支持发送方终端101和接收方终端102之间的数据交换。具体地，当发送方终端101或接收方终端102中的至少一个是移动通信设备时，通信系统300可以包括支持移动通信的网络实体，例如，基站、基站控制器以及移动交换中心。当终端能够进行互联网接入时，通信系统300可以包括支持互联网连接的无线接入网络。此外，通信系统300可以包括2G、3G以及4G网络实体，以支持终端的多个通信方案。
通信系统300可以支持发送方终端101和接收方终端102之间的消息交换。具体地，通信系统300可以支持终端101和102之间的即时消息(IM)功能。为了支持即时消息功能，即时消息服务器装置可以附连到通信系统300。终端101和102可以执行由即时消息服务器装置提供的消息支持程序，并通过通信系统300连接到即时消息服务器装置，以使用即时消息服务器装置执行有利地基于面部识别的消息功能。当通过终端101和102之间的直接消息交换执行即时消息功能时，可以省略即时消息服务器装置。如上所述，通信系统300不限于具体通信方案或通信模块，并且可以理解为能够从发送方终端101向接收方终端102中继情绪表示图像和消息的方法。
典型终端可以在向另一终端发送消息时作为发送方，而在从另一终端接收消息时作为接收方。因此，在以下描述中，将发送方终端101和接收方终端102全部描述为移动终端100，该移动终端100可以根据上下文用作发送方或接收方。
图2示出了支持基于面部识别的消息功能的移动终端100。移动终端100可以包括通信单元110、输入单元120、音频处理单元130、显示单元140、存储单元150、摄像机模块170以及控制单元160。响应于激活消息功能，具有上述配置的移动终端100激活摄像机模块170以获取面部图像，使用所获取的图像执行情绪分析，并向另一移动终端发送情绪表示图像。在情绪分析期间，移动终端100识别多个不同预定情绪状态中与所获取的图像相对应的情绪状态，并且可以响应于所识别的情绪状态不同于先前情绪状态，发送与所获取的图像相关联的情绪表示图像。也就是说，移动终端100可以响应于检测到用户的情绪状态改变来发送图像数据，以最小化对情绪信息的多余数据传输。
当从另一移动终端接收到情绪表示图像时，则移动终端100可以在单独配置的输出区域中输出所接收的情绪表示图像，使得可以容易地识别发送方用户的情绪状态改变。备选地，移动终端100可以在消息输出区域中输出所接收的情绪表示图像，以容易识别响应于消息交换的情绪状态改变。
为此，通信单元110配置为支持消息和图像数据的传输。通信单元110可以包括至少一个通信模块以支持至少一个通信方案。例如，通信单元110可以包括支持2G、3G和4G移动通信之一的通信模块。控制单元160可以响应于用户请求激活通信单元110，以建立与所请求的服务类型兼容的通信信道。这里，通信单元110可以响应于用户激活的项目建立通信信道。例如，通信单元110可以支持用于即时消息，或具体地支持用于基于面部识别的消息功能的数据传输。对于通信单元110支持的消息功能，控制单元160可以提供包含情绪表示图像的消息输出屏幕。
输入单元120配置为产生移动终端100的操作所需的不同输入信号。输入单元120可以包括多个键，例如，按钮键、边键以及主页键，并且还可以包括支持全触摸屏能力的虚拟触摸板。这里，虚拟触摸板可以显示在显示单元140上，并响应于用户触摸产生输入信号。具体地，输入单元120可以响应于用户请求，产生用于激活视频聊天模式的输入信号，在该模式下使能基于面部识别的用户功能。输入单元120可以响应于用户请求产生用于禁用视频聊天模式的输入信号。响应于禁用视频聊天模式，可以执行常规消息功能以交换消息而不传输单独图像。在视频聊天模式期间，输入单元120可以产生输入信号，用于选择摄像机模块170的不同选项之一。例如，用于操作摄像机模块170的选项可以包括：响应于预设周期操作摄像机模块170；当输入或发送了消息时操作摄像机模块170；当接收到消息时操作摄像机模块170；以及响应于以上选项的组合进行操作。
由输入单元120产生的输入信号被发送到控制单元160，该控制单元160响应于该输入信号执行功能。当显示单元140支持输入功能时，显示单元140可以作为输入装置。在这种情况下，具有触摸能力的显示单元140可以用于产生用于在基于面部识别的消息功能与常规消息功能之间进行切换的输入信号。音频处理单元130配置为处理在操作移动终端100的过程中产生的不同音频信号。音频处理单元130可以包括扬声器SPK，以输出所产生的音频信号；以及麦克风MIC，以收集用于语音或视频呼叫和记录的音频信号。当支持语音消息功能时，音频处理单元130可以收集来自用户的语音信号，并将该语音信号转发到控制单元160。
音频处理单元130可以输出表示视频聊天模式的激活的声音通知、表示在视频聊天模式期间摄像机模块170进行的图像获取的声音通知、以及表示从另一移动终端接收新的情绪表示图像的声音通知。响应于用户设置，可以跳过或从摄像机开始图像获取的若干秒内执行对表示由摄像机模块170进行的图像获取的声音通知的输出。
显示单元140配置为输出移动终端100的操作所需的不同功能屏幕。例如，显示单元140可以响应于设置和移动终端100支持的功能，输出多个屏幕，例如，菜单屏幕、图标屏幕、窗口小部件屏幕、待机屏幕、以及锁定屏幕。具体地，显示单元140可以响应于用户请求输出消息功能屏幕，并响应于选择视频聊天模式输出视频聊天屏幕。下文参考附图更详细地描述针对视频聊天模式的GUI(图形用户界面)屏幕。
存储单元150配置为存储操作移动终端100所需的多个程序和数据。例如，存储单元150可以存储用于控制操作移动终端100的操作系统，以及在操作移动终端100的过程中发送的、接收的或输入的数据。具体地，为了支持本公开的视频聊天模式，存储单元150可以存储聊天支持程序151、情绪分类数据库153、以及聊天照片数据库155。
聊天支持程序151可以包括不同例程，以支持移动终端100的聊天功能。例如，聊天支持程序151可以包括用于开放聊天室以与使用不同移动终端的电话号码或ID的另一用户聊天的例程、用于向聊天室发送消息的例程、以及用于记录和存储所交换的消息的例程。具体地，为了支持基于面部识别的消息功能，聊天支持程序151可以包括用于响应于发生预设事件激活摄像机模块170的例程、用于使用摄像机模块170获取面部图像的例程、用于识别与所获取的面部图像相对应的情绪状态的例程、以及用于响应于所识别的情绪状态控制所获取的图像的传输的例程。这里，用于识别情绪状态的例程可以包括以下中的至少一个：用于分析预设图像帧或实时预览图像的例程、用于分析实时存储的图像的例程或用于分析编码图像的例程。
情绪分类数据库153提供关于面部特征元素与情绪状态(例如，高兴、悲伤、生气、惊讶、害怕和讨厌)之间的映射的信息。例如，情绪分类数据库153可以将不同特征元素(例如，嘴唇形状、眼睛形状、下巴位置以及前额褶皱)映射到情绪状态。情绪分类数据库153可以根据需要提供针对多个面部特征元素而被更详细分类的关于情绪状态的信息。
聊天照片数据库155存储在执行基于面部识别的消息功能期间交换的情绪表示图像。在聊天照片数据库155中，情绪表示图像可以是基于聊天室分组的。聊天照片数据库155可以临时缓冲预览图像，并可以将编码图像与到情绪表示图像的映射一起存储。当从另一移动终端接收到针对情绪表示图像的原始图像请求时，聊天照片数据库155可以支持向发出请求的移动终端传输编码的原始图像。聊天照片数据库155可以存储与聊天室中的每个移动终端的电话号码或标识符相关联的代表情绪表示图像，并且可以存储移动终端100的代表情绪表示图像。聊天照片数据库155存储的代表情绪表示图像可以用作用于确定由新获取的图像表示的情绪状态是否与先前情绪状态相同的参考。
摄像机模块170获取用户的面部图像，并向控制单元160传送所获取的图像。摄像机模块170可以位于设置有显示单元140的移动终端100的前部，以在执行消息功能期间获取用户的面部图像。当在控制单元160的控制下激活时，摄像机模块170可以获取预览图像并向控制单元160发送该预览图像，或实时获取图像并向控制单元160发送图像。例如，可以激活摄像机模块170以在执行消息功能期间以预定速率获取用户的面部图像。如果没有获取到面部图像，则可以控制摄像机模块170停止图像获取，并可以暂时停止基于面部识别的消息功能。在暂时停止之后，响应于产生针对终端操控或消息功能操作的输入事件，可以再次开始基于面部识别的消息功能。控制单元160配置为控制移动终端100的信号交换，数据处理、信息收集及分发，以进行视频聊天模式操作。
为了实现基于面部识别的消息功能，移动终端100的控制单元160可以具有如图3所示的配置。控制单元160可以包括聊天支持器161、图像收集器163以及情绪表示图像处理器165。聊天支持器161通过与另一移动终端交换即时消息，支持移动终端100的基础聊天功能。聊天支持器161也支持与基于面部识别的消息功能相关联的视频聊天模式，并在消息功能屏幕或待机屏幕上将视频聊天图标和视频聊天菜单图标二者中的至少一个显示作为用于视频聊天模式选择的GUI元件。
聊天支持器161支持存储和更新代表情绪表示图像。具体地，在情绪分类数据库153定义了多个情绪状态的情况下，当获得与情绪状态相对应的情绪表示图像时，聊天支持器161可以在聊天照片数据库155中存储该情绪表示图像，作为该情绪状态的代表情绪表示图像。当检测到与代表情绪表示图像相对应的情绪状态时，聊天支持器161可以将代表情绪表示图像用作要向另一移动终端发送的图像。聊天支持器161可以以预定频率(例如，每小时、每天、或每周)更新所存储的代表情绪表示图像，或响应于在图像获取时的用户请求，用对应情绪表示图像代替所存储的代表情绪表示图像。响应于识别与新获得的图像相对应的情绪状态，聊天支持器161可以检查是否存在与相同情绪状态相关联的所存储情绪表示图像，并且如果存在这种情绪表示图像，提示用户决定是发送所存储的情绪表示图像还是新获得的情绪表示图像。这里，聊天支持器161可以将所存储的情绪表示图像和新获得的情绪表示图像一起输出以便比较。
聊天支持器161支持浏览交换图像的历史，并且可以提供图标或菜单项以浏览向聊天室中的另一用户发送的或从聊天室的另一用户接收的图像。备选地，聊天支持器161可以在显示单元140上排列情绪表示图像的区域，并当选择了该区域中所显示的情绪表示图像之一时，支持浏览关于所选情绪表示图像的用户的所有情绪表示图像的历史。聊天支持器161可以将情绪表示图像的历史以及在交换情绪表示图像时交换的即时消息一起输出。
当从另一移动终端或输入单元120接收到对情绪表示图像的原始图像请求时，聊天支持器161可以提供所请求的原始图像。也就是说，当从另一移动终端接收到对情绪表示图像的原始图像请求时，聊天支持器161可以向发出请求的移动终端发送所存储的原始情绪表示图像。当从输入单元120接收到对情绪表示图像的原始图像请求时，聊天支持器161可以在显示单元140上输出情绪表示图像的所存储原始图像。当情绪表示图像与预览图像相关联时，聊天支持器161可以编码并存储缓冲的原始图像，并且聊天支持器161可以在预定时间内维持与情绪表示图像相关联的缓冲预览图像。
图像收集器163响应于激活基于面部识别的消息功能，激活用于图像获取的摄像机模块170。具体地，图像收集器163可以支持响应于产生预设事件的图像获取。这里，当激活视频聊天模式以执行基于面部识别的消息功能时，可以以规则间隔触发预定事件。在视频聊天模式下，预定事件可以与以下中的至少一个相对应：用于消息编辑的输入事件、用于消息发送的输入事件、用于读取或回复所接收消息的输入事件、或对消息应用的激活。在视频聊天模式期间，图像收集器163可以响应于移动终端100的配置、设置或设计，向情绪表示图像处理器165提供所获取预览图像和实时存储的图像二者中的至少一个。
图像收集器163可以在获取用于产生情绪表示图像的面部图像时提供图像获取通知。例如，图像收集器163可以输出以下中的至少一个：表示图像获取的声音通知、预定模式的灯光闪烁、或预定模式的振动。当在视频聊天模式期间摄像机模块170没有获取到用户的面部时，图像收集器163可以认为用户离开并相应地进行响应。例如，图像收集器163可以发送表示离开的预定图像或消息。
情绪表示图像处理器165使用由图像收集器163和情绪分类数据库153提供的面部图像执行情绪分析，并产生情绪表示图像。具体地，情绪表示图像处理器165在多个分类的情绪状态中识别与该面部图像相对应的情绪状态，并产生与所识别情绪状态相对应的情绪表示图像。情绪表示图像处理器165可以将该情绪表示图像以及关于所识别的情绪状态的信息一起提供给另一移动终端。当所识别的情绪状态与先前所的图像表示的情绪状态相同时，情绪表示图像处理器165可以表示情绪状态没有改变。在这种情况下，情绪表示图像处理器165可以默认跳过情绪表示图像的传输，或可以请求用户决定是否发送该情绪表示图像，并响应于用户决定发送该情绪表示图像。
图4示出了支持视频聊天模式的方法的流程图。在操作401处，移动终端100的控制单元160响应于输入事件或预定方案信息，激活视频聊天模式，并且可以输出用于视频聊天模式选择的图标或菜单项。在操作403中，控制单元160响应于产生预定事件，获取用户的面部图像。也就是说，当产生了以下中的至少一个时，控制单元160可以激活摄像机模块170：用于激活基本视频聊天模式操作(例如，时间段设置)的输入信号、用于消息编辑的输入信号、或用于消息发送的输入信号。控制单元160可以实时获得由摄像机模块170提供的预览图像，或可以控制摄像机模块170在预定时间获取用户的面部图像。
响应于获得面部图像，在操作405处，控制单元160使用该面部图像执行情绪分析。控制单元160可以使用情绪分类数据库153来识别与该面部图像相对应的情绪状态。具体地，当使用所获取的图像或预览图像表示在预定时间内没有运动时，控制单元160可以使用当前缓冲的图像执行情绪分析。控制单元160可以使用在产生用于完成消息编辑的输入事件时拍摄的预览图像或在产生用于消息发送的输入事件时拍摄的预览图像，来执行情绪分析。
响应于情绪分析，在操作407处，控制单元160产生情绪表示图像。具体地，控制单元160可以在用于情绪分析的预览图像或所获取的图像中界定包含用户面部的区域，并提取所界定区域作为情绪表示图像。控制单元160可以向该情绪表示图像并入表示对应情绪状态的文本描述。备选地，控制单元160可以从情绪分类数据库153检索与所识别的情绪状态相对应的代表情绪表示图像，并将该代表情绪表示图像用作情绪表示图像。在情绪分析结果与先前情绪分析结果相同的情况下，控制单元160可以跳过操作407(情绪表示图像产生)和操作409(情绪表示图像发送)，并且可以响应于设置，在不传输单独图像的情况下向另一移动终端发送表示没有情绪状态改变的消息。控制单元160返回到操作403并继续视频聊天模式操作。
在操作409处，控制单元160发送情绪分析信息以及情绪表示图像。这里，情绪分析信息和情绪表示图像可以与消息一同发送，或可以在使用所获取的图像进行情绪分析之后立即发送。因此，当没有输入消息时，移动终端100可以自动向另一移动终端发送情绪分析信息以及情绪表示图像。当将代表情绪表示图像用于视频聊天模式操作并且对端移动终端预存储用户的代表情绪表示图像时，向对端移动终端发送情绪分析信息而不发送情绪表示图像，对端移动终端可以接着在显示单元上输出与所接收的情绪分析信息相对应的发送用户的预存储代表情绪表示图像。当响应于预定周期用新代表情绪表示图像更新代表情绪表示图像时，控制单元160可以向对端移动终端发送新代表情绪表示图像以及相关情绪分析信息。控制单元160可以维护关于向对端移动终端发送的代表情绪表示图像的信息作为代表情绪表示图像的历史，并且控制单元160可以将版本信息附加到已有的和新的代表情绪表示图像。在操作411处，控制单元160检查是否产生了用于禁用视频聊天模式的输入事件，如果没有，则控制单元160返回操作403并继续该视频聊天模式操作。
图5示出了支持视频聊天模式的另一方法的流程图。在操作501处，控制单元160控制向移动终端100的单独组件供电，并可以输出用于选择视频聊天模式的菜单或图标。当产生输入事件时，在操作503处，控制单元160检查输入事件是否与对聊天功能的选择有关，并且如果输入事件与对聊天功能的选择无关，则控制单元160进行到操作505，在操作505处控制单元160执行与该输入事件相对应的功能。例如，控制单元160可以响应于输入事件，执行不同功能(例如，呼叫功能、广播接收、文件编辑、文件回放、备忘录功能、笔记本功能以及摄像机功能)之一。
如果输入事件与对聊天功能的选择有关，则控制单元160进行到操作507，在操作507处，控制单元160检查是否产生了用于激活视频聊天模式的输入事件，如果没有产生用于激活视频聊天模式的输入事件，则控制单元160进行到操作509，在操作509处，控制单元160执行常规聊天功能。例如，控制单元160可以控制基于文本的即时消息的发送和接收。如果在操作507处产生了用于激活视频聊天模式的输入事件，则控制单元160进行到操作511，在操作511处，控制单元160激活摄像机模块170。在操作513处，控制单元160控制摄像机模块170响应于预定设置获取图像。具体地，控制单元160可以控制摄像机模块170获取用户的面部图像。在操作515处，控制单元160使用所获取的图像执行情绪分析。控制单元160可以根据情绪分类数据库153所存储的信息，识别与所获取的图像相对应的用户的情绪状态。具体地，具体地，控制单元160通过边缘检测来识别特征，例如，嘴唇、脸颊，所述边缘检测例如沿着特征边界确定像素亮度的过渡，如已知的那样。控制单元160使用平移、缩放和旋转操作变换所识别图像特征，以便与在映射信息中跟特定情绪相关联的预定的所存储图像特征进行比较(例如，向上弯曲的嘴唇表示微笑和高兴)。控制单元160使用映射信息将变换后的所识别特征与预定的所存储图像特征进行比较，并识别情绪和相关联的情绪表示图像。
在操作517处，控制单元160检查所识别的情绪状态(当前情绪状态)是否和与先前所获取的图像相对应的情绪状态(先前情绪状态)相同。如果当前情绪状态不同于先前情绪状态，则在操作519处，控制单元160产生情绪表示图像并发送该情绪表示图像。控制单元160可以在存储单元150中单独存储与该情绪表示图像相对应的原始图像，并且可以在使用原始图像产生情绪表示图像期间，调整情绪表示图像的分辨率。例如，控制单元160可以将情绪表示图像的分辨率设为原始图像分辨率的十分之一，并响应于预定设置来改变该情绪表示图像的尺寸。
如果当前情绪状态与先前情绪状态相同，则在操作521处，控制单元160发送关于先前情绪表示图像的信息，例如，表示情绪表示图像无变化的情绪表示图像索引信息。在操作523处，控制单元160检查是否产生了用于禁用聊天功能的输入事件，并且如果没有产生用于禁用聊天功能的输入事件，则控制单元160返回到操作507，并继续该聊天功能。
图6示出了移动终端的屏幕界面。移动终端100可以在显示单元140上输出聊天消息区域50、情绪表示图像区域40、以及输入区域60。聊天消息区域50用于输出与另一移动终端交换的消息。在聊天消息区域50中，可以输出用于消息文本的文本区域58以及用于用户标识的图像区域51或52。可以将用于区分用户的标识信息59输出在图像区域51或52附近。标识符“Yoon Hee”、“Lee Sook”及“我”(每个移动终端的用户)可以与标识信息59相对应。图像601表示用户“Yoon Hee”使用的移动终端的屏幕，并且图像603表示由用户“Lee Sook”使用的移动终端的屏幕。
如图像601所示，可以在“Yoon Hee”终端的显示单元上的第一情绪表示图像区域41中输出“Lee Sook”的第一情绪表示图像71。如上所述，当通过基于“Lee Sook”的面部图像的情绪分析检测到情绪状态改变时，可以更新第一情绪表示图像71。响应于设置，当检测到情绪状态改变时可以实时更新“Lee Sook”的面部图像，当没有检测到情绪状态改变时可以以规则间隔更新“Lee Sook”的面部图像。第一情绪表示图像71可以由情绪表示图像和文本情绪状态信息(例如，“高兴”或“中性”)构成。由于可以在图像区域51或52输出情绪表示图像，移动终端100可以在产生情绪表示图像时，将情绪表示图像的尺寸设为在即时消息中使用的缩略图的尺寸。
可以不仅在第一情绪表示图像区域41中而且在“Lee Sook”的第一图像区域51中输出“Lee Sook”的第一情绪表示图像71。当更新第一情绪表示图像71时，也可以更新第一图像区域51中的第一情绪表示图像。这里，可以仅在与新接收的消息相对应的第一图像区域51中输出新接收的第一情绪表示图像。例如，在如图像601所示状态下，可以在从“LeeSook”最近接收的消息的第一图像区域51中输出“LeeSook”的新第一情绪表示图像，并且可以在先前接收的消息的第一图像区域中输出先前接收的第一情绪表示图像。
如图像603所示，可以在第二情绪表示图像区域42中输出由“Yoon Hee”发送的第二情绪表示图像72。也可以在聊天消息区域50中与“Yoon Hee”有关的第二图像区域52中输出第二情绪表示图像72。可以在如图像601所示的命名为“我”的“Yoon Hee”的图像区域中和在如图像603所示的命名为“我”的“Lee Sook”的图像区域中输出用户的情绪表示图像。也就是说，在如图像601所示的状态下，可以在“Yoon Hee”的图像区域中输出通过“YoonHee”的面部识别而获得的第二情绪表示图像；并且在如图像603所示的状态下，可以在“LeeSook”的图像区域中输出通过“Lee Sook”的面部识别而获得的第一情绪表示图像。可以将情绪表示图像输出为彩色图像、黑白图像和特效图像中的至少一个。
移动终端100可以表示摄像机模块170的操作。例如，为了表示用于图像获取的摄像机模块170的操作，移动终端100可以改变位于右上部的灯80的颜色或闪烁模式。备选地，移动终端100可以在整个显示单元140上产生增亮或闪烁效果、输出消息弹出窗口、或产生给定模式的振动，以表示用于获取用于情绪表示图像发送的面部图像的摄像机模块170的操作。摄像机模块170可以布置在几乎与灯80相同的位置处。灯80可以布置在摄像机模块170的镜头附近，并执行不同发光控制操作，用于进行先前所述的通知。当摄像机模块170执行图像获取时，可以暂停灯80的操作。灯80也可以提供用于图像获取的摄像机模块170所需的光线。
图7和图8示出了面部情绪表示图像的输出。移动终端100可以在情绪表示图像区域40中输出聊天组中所有用户的情绪表示图像。例如，当三个用户属于一个聊天组时，可以在情绪表示图像区域40中输出第一到第三情绪表示图像71、72和73。为了更新“Lee Sook”的第一情绪表示图像71，可以如图像801、803和805所示，逐渐改变屏幕状态。在图7中使用淡入效果。在更新第一情绪表示图像71期间，使用淡出效果改变先前情绪表示图像。响应于对第一情绪表示图像71的更新请求，可以用淡出效果去除先前情绪表示图像，并且可以用淡入效果输出新情绪表示图像。
情绪表示图像的输出不限于使用淡入/淡出效果，并且可以以不同方式执行。也就是说，例如，可以从情绪表示图像区域部分地去除先前情绪表示图像，并且可以在情绪表示图像区域中部分地输出新情绪表示图像。先前情绪表示图像可以向一个方向移动以从情绪表示图像区域去除，并且可以在通过先前情绪表示图像的移动所提供的空间中输出新情绪表示图像。
图8示出了在聊天消息区域50的第一图像区域51中对情绪表示图像输出的更新。为了更新在第一图像区域51中输出的“Lee Sook”的第一情绪表示图像71，如图像801到805所示，可以逐渐改变屏幕状态。因此，一个用户可以通过聊天消息区域50上的图像区域的改变，容易地识别另一用户的情绪状态改变。在与先前所接收的消息相对应的图像区域中输出先前情绪表示图像，并且在与新接收的消息相对应的图像区域中输出新情绪表示图像。
图9示出了向面部情绪表示图像的显示施加的视觉效果。移动终端100可以在显示单元140上仅输出聊天消息区域50和输入区域60，而没有单独的情绪表示图像区域40。移动终端100可以在图像区域51、52和53中输出情绪表示图像71、72和73。这里，情绪表示图像71、72和73可以输出如图像901所示的彩色图像或输出如图像903所示的黑白图像。为此，移动终端100可以提供用于设置彩色图像和黑白图像二者之一的菜单项，并响应于菜单项中的设置，将情绪表示图像71、72和73输出作为彩色图像或黑白图像。此外，可以将情绪状态信息(例如，中性、生气和高兴)附加到情绪表示图像71、72和73，使得可以容易识别用户的情绪状态。
移动终端100可以选择性使用彩色或黑白图像，以输出情绪表示图像。更具体地，对于每个用户，移动终端100可以将与最近发送或接收的消息相关联的情绪表示图像输出为彩色图像，并将与先前发送或接收的消息相关联的情绪表示图像输出为黑白图像。备选地，对于全部用户，移动终端100可以仅将与最近发送或接收的消息相关联的情绪表示图像输出为彩色图像，并将与先前发送或接收的消息相关联的情绪表示图像输出为黑白图像。在这种情况下，可以在显示单元140上输出一个彩色情绪表示图像以及一个或多个黑白情绪表示图像。当接收到新消息时，可以将彩色情绪表示图像改变为黑白情绪表示图像。
图10示出了对先前情绪表示图像的浏览。如图像1001所示，移动终端100可以输出情绪表示图像区域40、聊天消息区域50以及输入区域60。可以在情绪表示图像区域40中输出聊天组中的用户的情绪表示图像71、72和73。具体地，在所输出的情绪表示图像中，与最近发送或接收的消息相关联的用户的情绪表示图像可以大于另一情绪表示图像。例如，可以将发送最新消息的“Lee Sook”的情绪表示图像显示为大于其他情绪表示图像。也可以将“Lee Sook”的情绪表示图像移动到情绪表示图像区域40的中心部分。
可以在聊天消息区域50中输出多个发送或接收的消息。当用户滚动屏幕以浏览先前发送或接收的消息时，可以响应于滚动在聊天消息区域50中输出的消息，改变在情绪表示图像区域40中输出的情绪表示图像71、72和73。具体地，在消息区域50输出的情绪表示图像中，可以将如图像1001所示的与用户指定消息相关联的情绪表示图像改变为如图像1003所示。例如，当如图像1001所示在所选的“Lee Sook”的消息的第一情绪表示图像区域51上产生输入事件时，指定在情绪表示图像区域40中的“Lee Sook”的情绪表示图像。当响应于屏幕滚动在屏幕下部输出与“Lee Sook”有关的先前消息时，可以在情绪表示图像区域40中输出与该先前消息相关联的情绪表示图像。可以在第一情绪表示图像区域51中显示指定用户的缩略图图像。备选地，可以响应于预定设置，在第一情绪表示图像区域51中显示情绪表示图像。
图11示出了视频聊天会话中用户离开的处理。移动终端100可以响应于激活视频聊天模式，在显示单元140上输出情绪表示图像区域40、聊天消息区域50以及输入区域60。移动终端100可以从其他用户接收情绪表示图像，并在情绪表示图像区域40输出用户的情绪表示图像71、72和73。移动终端100可以响应于预定设置，除了单元100的用户的情绪表示图像之外，还在情绪表示图像区域40中输出从其他用户接收的情绪表示图像。移动终端100可以从另一移动终端接收表示面部识别失败的消息。例如，在视频聊天会话期间，一个用户可能将移动终端置于不使用或关闭状态，该移动终端可以向聊天组中的其他用户发送表示用户离开的消息。
当从另一移动终端接收到表示用户离开的消息时，如图11所示，移动终端100可以在情绪表示图像区域40中反映这一情况。例如，遮住第三情绪表示图像73以表示对应用户离开。备选地，移动终端100可以将表示“用户离开”的文本描述附加到与离开的用户的情绪表示图像重叠或邻近的部分。移动终端100可以在可以输出对应情绪表示图像的图像区域中输出表示“用户离开”的视觉效果或文本描述。例如，为了表示一个用户离开，移动终端100可以遮住与来自“Mal Sook”的消息相关联的第三图像区域53中输出的第三情绪表示图像73，或在第三图像区域53中输出表示“用户离开”的文本描述。
图12示出了对情绪表示图像的记录的浏览。如图像1201所示，移动终端100可以响应于产生了输入事件，输出一个聊天组中的用户的情绪表示图像。这里，移动终端100可以以每个用户为基础输出情绪表示图像。对于由用户“Lee Sook”、“Mal Sook”和“Yoon Hee”构成的聊天组，根据用户对情绪表示图像进行分组并以每个用户为基础输出情绪表示图像。可以将情绪状态信息写入每个情绪表示图像。移动终端100可以提供菜单项以输出用户的情绪表示图像的列表，并且如图像1201所示，当选择该菜单项时可以输出情绪表示图像的列表。
可以以不同时间间隔来执行对情绪表示图像记录的浏览。例如，移动终端100可以提供多个菜单项，以每天、每星期、或每月浏览情绪表示图像的记录，并当选择菜单项之一时输出包含与所选菜单项相对应的情绪表示图像的记录的全体情绪表示图像浏览屏幕。可以在情绪表示图像区域中将情绪表示图像和相关消息一起输出。
当如图像1201所示从全体情绪表示图像浏览屏幕选择情绪表示图像时，如图像1203所示，移动终端100可以在显示单元140上输出给定尺寸的所选情绪表示图像。也就是说，响应于选择情绪表示图像的输入事件，移动终端100可以在显示单元140上全屏形式输出所选情绪表示图像。为此，移动终端100可以发起对情绪表示图像的原始图像请求。也就是说，响应于用于指定情绪表示图像以按照给定尺寸显示该情绪表示图像的输入请求，移动终端100可以向已发送情绪表示图像的移动终端发送针对指定情绪表示图像的原始图像请求。当接收到指定情绪表示图像的原始图像时，移动终端100可以在显示单元140上输出所接收的原始图像。为了处理来自另一移动终端的原始图像请求，移动终端100可以将每个情绪表示图像的原始图像存储预定时间。此后，当从第二移动终端接收到对情绪表示图像的原始图像的请求时，移动终端100可以检索该情绪表示图像的所存储原始图像并向第二移动终端发送检索到的原始图像。
当在如图像1203所示的状态下在部分显示单元140上产生了用于浏览不同情绪表示图像的输入事件(例如，扫动或拖曳事件)时，移动终端100可以输出不同于在如图像1201所示的状态下输出的情绪表示图像的一系列情绪表示图像。具体地，移动终端100可以在显示单元140上输出相同用户的不同情绪表示图像。
图13和图14示出了在聊天会话中情绪表示图像的显示。如图像1301所示，移动终端100可以响应于激活视频聊天模式，在显示单元140上输出包括情绪表示图像区域40、聊天消息区域50和输入区域60的屏幕。响应于在情绪表示图像区域40中选择情绪表示图像71的用户输入事件，如图像1303所示，移动终端100可以在显示单元140的区域输出菜单弹出窗口90，菜单弹出窗口90包含可用于所选情绪表示图像71的菜单项。将菜单弹出窗口90输出为重叠在视频聊天屏幕上，以便于区分。
响应于在菜单弹出窗口90上选择“幻灯片放映”项的用户输入事件，如图像1305所示，移动终端100可以执行幻灯片放映功能。这里，移动终端100可以通过幻灯片放映功能显示与在如图像1301所示的状态下选择的情绪表示图像71有关的用户的情绪表示图像。在执行幻灯片放映功能期间，在给定用户的情绪表示图像中，可以以预定尺寸或全屏形式在一段时间内显示一个情绪表示图像，并用下一情绪表示图像代替显示的该情绪表示图像。如果情绪表示图像的原始图像对幻灯片放映功能而言是必须的，则移动终端100可以向另一移动终端发送原始图像请求并接收对应原始图像。
当在执行幻灯片放映功能期间显示了最后的情绪表示图像时，移动终端100可以输出幻灯片末尾通知，并自动结束幻灯片放映功能。此后，移动终端100可以返回到如图像1301所示的状态以继续视频聊天模式。备选地，移动终端100可以输出幻灯片末尾通知，并通过显示第一情绪表示图像来重新开始幻灯片放映功能。当产生了用于屏幕恢复的输入事件时，移动终端100可以结束幻灯片放映功能，并返回到如图像1301所示的状态。
在图14中，如图像1401所示，移动终端100可以在显示单元140上输出包括情绪表示图像区域40、聊天消息区域50以及输入区域60的屏幕，以支持视频聊天模式。响应于选择情绪表示图像区域40中输出的情绪表示图像71的用户输入事件，如图像1403所示，移动终端100可以在显示单元140上以全屏形式输出情绪表示图像71。移动终端100可以向另一用户终端发送对情绪表示图像71的原始图像请求。
可以响应于产生预定事件，直接激活如图13所述的情绪表示图像的幻灯片放映或如图14所述的情绪表示图像的全屏视图。例如，当通过长触摸事件选择情绪表示图像时，移动终端100可以提供对与所选情绪表示图像有关的用户的情绪表示图像的幻灯片放映。当通过双击事件选择情绪表示图像时，移动终端100可以在显示单元140上以全屏模式输出所选情绪表示图像。
如前所述，由摄像机模块170获取面部图像；使用所获取的图像执行面部识别；使用面部识别结果执行情绪分析；以及响应于情绪分析结果发送情绪表示图像。这里，可以响应于检测到情绪状态改变来执行情绪表示图像的传输，提高数据传输效率。
在以上描述中，将消息功能用作基于面部识别的用户功能的主要示例。然而，本公开不限于此。基于面部识别的用户功能也可以应用于视频呼叫。更具体地，当在视频呼叫期间使能基于面部识别的情绪分析功能时，可以根据由摄像机模块170获取的预览图像来执行情绪分析；当检测到情绪状态改变时，可以将新情绪状态信息以及对应情绪表示图像传输到对端终端，而不进行实时图像传输。也就是说，在本公开的视频呼叫期间，响应于检测到情绪状态改变，发送情绪表示图像而不进行实时图像传输，显著减少了要发送的数据量，同时保持视频呼叫效果。具体地，在视频呼叫期间，移动终端100可以在获得语音信号时，使用摄像机模块170产生情绪表示图像。也就是说，当通过麦克风MIC获得由发言用户产生的语音信号时，移动终端100可以使用摄像机模块170获取图像，并使用所获取的图像执行情绪分析。当没有产生语音信号时，移动终端100可以禁用摄像机模块170，以减少摄像机模块170消耗的功率。此外，移动终端100可以在显示单元140上布置情绪表示图像区域，以输出在前述视频呼叫期间发送和接收的情绪表示图像，并且可以提供用于操控情绪表示图像的多个选项。
在另一实施例中，移动终端100还可以包括不同组件。例如，当移动终端100是通信终端时，移动终端100还可以包括用于局域通信的局域通信模块、基于有线和无线通信的数据通信接口、用于互联网接入和通信的互联网通信模块、以及用于接收和播放数字广播的数字广播接收模块。对本领域技术人员显而易见的是，移动终端100还可以包括与上述单元可比较的单元，并且移动终端100的一个单元可以被去除或用另一单元代替。
移动终端100可以是信息和通信装置或多媒体装置，例如，基于支持不同通信系统的通信协议的移动通信终端、便携式多媒体播放器(PMP)、数字广播接收机、个人数字助手(PDA)、例如MP3播放器的音乐播放器、便携式游戏机、智能电话、膝上型计算机或手持型计算机。
上文中，参考附图描述了本公开实施例。应在不限制本公开主题的情况下，根据本公开的精神理解在描述中所用的具体术语或词语。应理解，这里描述的基本发明构思的多种改变和修改将仍在由所附权利要求及其等同物限定的系统的精神和范围内。
上述实施例可以实现为硬件、固件或作为可以存储在诸如CDROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘等记录介质上的软件或计算机代码，或在网络上下载的原始存储在远程记录介质或非暂时机器可读介质上并存储在本地记录介质上的计算机代码，使得这里所述方法可以通过使用通用计算机、或专用处理器或可编程或专用硬件(例如ASIC或FPGA)在记录介质上存储的这种软件来呈现。如本领域技术人员理解的，计算机、处理器、微处理器控制器或可编程硬件包括存储组件，例如RAM、ROM、闪存等，其可以存储或接收软件或计算机代码，这些软件或计算机代码在被计算机、处理器或硬件访问和执行时实现这里所描述的处理方法。此外，应该认识到，当通用计算机访问用于实现这里示出的处理的代码时，所述代码的执行将通用计算机转化为用于执行这里示出的处理的专用计算机。可以自动地、或完全或部分地响应于用户命令来执行这里的功能和处理步骤。响应于可执行命令或设备操作而无需用户直接发起活动，来执行自动执行的活动(包括步骤)。

Claims (23)

1.一种用于移动终端中的用户界面方法，所述方法包括：
激活摄像机模块以支持视频聊天功能；
使用摄像机模块获取目标对象的图像；
响应于在所获取的图像中检测到面部，分析面部图像数据以识别面部的当前情绪状态；
将所识别的当前情绪状态与从目标对象的先前获取的面部图像识别的先前情绪状态进行比较；
如果响应于所述比较，所识别的当前情绪状态不同于所述先前情绪状态，则产生与所识别的当前情绪状态相对应的情绪表示图像；
将所产生的情绪表示图像发送到视频聊天中使用的对端终端；以及
如果所识别的当前情绪状态与所述先前情绪状态相同，则发送对当前情绪状态与所述先前情绪状态之间的相似性加以表示的消息，而不产生和发送情绪表示图像，
其中，产生所述情绪表示图像包括：
在所获取的图像中界定包含用户面部的区域，并提取所界定区域作为情绪表示图像。
2.根据权利要求1所述的方法，其中，所述识别面部的当前情绪状态包括：
通过特征边界边缘检测来识别面部特征，所述特征边界边缘检测包括确定像素亮度的过渡；以及
使用所识别的面部特征的变换，将所识别的面部特征与跟情绪相关联的预定特征进行比较，所述变换包括平移、缩放以及旋转操作中的至少一个。
3.根据权利要求1所述的方法，其中响应于以下中的至少一个来执行摄像机模块的激活：视频聊天中的时间段期满、激活支持视频聊天的消息应用、产生用于在视频聊天期间写入消息的输入事件、产生用于在视频聊天期间发送所写消息的输入事件、和产生用于阅读或回复所接收消息的输入事件。
4.根据权利要求1所述的方法，其中所述获取目标对象的图像包括以下中的至少一个：
从摄像机模块提供的预览图像序列中选择图像；以及
在输出预定通知之后获取目标对象的图像。
5.根据权利要求1所述的方法，其中所述产生情绪表示图像包括：通过调整摄像机获取的图像的分辨率以及尺寸，产生预定尺寸的情绪表示图像。
6.根据权利要求5所述的方法，其中所述产生情绪表示图像还包括：将与所识别的当前情绪状态有关的文本信息并入所述情绪表示图像。
7.根据权利要求1所述的方法，还包括：
响应于确定所获取的图像不包含目标对象的面部，产生表示用户离开的消息，以及
将表示用户离开的消息发送到对端终端。
8.根据权利要求1所述的方法，还包括：
响应于接收到原始图像请求，向对端终端发送所选情绪表示图像的原始图像。
9.根据权利要求1所述的方法，其中激活摄像机模块包括：响应于预定命令激活摄像机模块；
其中分析面部图像数据包括：通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态。
10.根据权利要求1所述的方法，其中激活摄像机模块包括：响应于发生预设事件激活摄像机模块；以及
所述方法还包括：响应于对面部图像数据的分析输出情绪状态信息以及情绪表示图像。
11.根据权利要求10所述的方法，还包括：
通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态；以及
向对端终端发送所述情绪状态信息和情绪表示图像。
12.根据权利要求10所述的方法，还包括：
存储情绪状态信息以及情绪表示图像；以及
临时存储情绪表示图像的原始图像。
13.根据权利要求10所述的方法，其中所述输出情绪状态信息和情绪表示图像包括输出由移动终端产生的或从对端终端接收的情绪状态信息和情绪表示图像。
14.根据权利要求10所述的方法，其中响应于以下中的至少一个来执行摄像机模块的激活：激活用户功能、在聊天会话期间写入消息、在聊天会话期间发起消息发送请求、以及在视频呼叫期间收集语音信号。
15.一种移动终端，包括：
摄像机模块，响应于在视频聊天期间产生表示预设事件的数据，获取目标对象的图像；以及
控制单元，响应于在所获取的图像中检测到面部，控制：
通过识别面部特征并将所识别的面部特征与跟情绪相关联的预定特征进行比较，来分析面部图像数据以识别面部的当前情绪状态；
将所识别的面部的当前情绪状态与从目标对象的先前获取的面部图像识别的先前情绪状态进行比较；以及
响应于所识别的当前情绪状态不同于所述先前情绪状态，基于所获取的图像产生与所识别的当前情绪状态相对应的情绪表示图像，并将所产生的情绪表示图像发送到对端终端，以及响应于所识别的当前情绪状态与所述先前情绪状态相同，发送表示所识别的当前情绪状态与所述先前情绪状态之间的相似性的消息，
其中，产生所述情绪表示图像包括：
在所获取的图像中界定包含用户面部的区域，并提取所界定区域作为情绪表示图像。
16.根据权利要求15所述的移动终端，还包括显示单元，输出所产生的情绪表示图像和从对端终端接收的情绪表示图像中的至少一个。
17.根据权利要求16所述的移动终端，其中所述显示单元将文本情绪状态信息重叠显示在显示情绪表示图像的区域上。
18.根据权利要求16所述的移动终端，还包括存储单元，存储所发送的和接收的情绪表示图像。
19.根据权利要求18所述的移动终端，其中所述显示单元显示针对单个用户存储在存储单元中的情绪表示图像的记录。
20.根据权利要求16所述的移动终端，其中所述显示单元输出用于显示情绪表示图像的单独的情绪表示图像区域。
21.根据权利要求20所述的移动终端，其中当在情绪表示图像区域中产生用于选择一个情绪表示图像的输入事件时，所述显示单元以全屏形式显示所选情绪表示图像，或输出与所选情绪表示图像相关的情绪表示图像的幻灯片。
22.根据权利要求15所述的移动终端，其中所述控制单元控制输出以下中的至少一个以通知使用摄像机模块获取了图像：灯光闪烁、模式振动、声音通知、增亮、和弹出窗口。
23.根据权利要求15所述的移动终端，其中所述视频聊天支持即时消息服务或视频呼叫服务。
CN201410005428.5A 2013-01-07 2014-01-06 用于移动终端中的用户界面方法和系统 Active CN103916536B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130001414A KR101988279B1 (ko) 2013-01-07 2013-01-07 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
KR10-2013-0001414 2013-01-07

Publications (2)

Publication Number Publication Date
CN103916536A CN103916536A (zh) 2014-07-09
CN103916536B true CN103916536B (zh) 2018-12-18

Family

ID=49999715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410005428.5A Active CN103916536B (zh) 2013-01-07 2014-01-06 用于移动终端中的用户界面方法和系统

Country Status (5)

Country Link
US (1) US9239949B2 (zh)
EP (1) EP2753076B1 (zh)
KR (1) KR101988279B1 (zh)
CN (1) CN103916536B (zh)
AU (1) AU2014200039B2 (zh)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638464B2 (en) 2011-04-01 2020-04-28 Futurewei Technologies, Inc. System and method for transmission and reception of control channels in a communications system
USD750111S1 (en) * 2012-12-14 2016-02-23 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
GB2509323B (en) 2012-12-28 2015-01-07 Glide Talk Ltd Reduced latency server-mediated audio-video communication
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9558180B2 (en) 2014-01-03 2017-01-31 Yahoo! Inc. Systems and methods for quote extraction
USD775183S1 (en) 2014-01-03 2016-12-27 Yahoo! Inc. Display screen with transitional graphical user interface for a content digest
US9971756B2 (en) * 2014-01-03 2018-05-15 Oath Inc. Systems and methods for delivering task-oriented content
US10503357B2 (en) 2014-04-03 2019-12-10 Oath Inc. Systems and methods for delivering task-oriented content using a desktop widget
US9742836B2 (en) 2014-01-03 2017-08-22 Yahoo Holdings, Inc. Systems and methods for content delivery
US9940099B2 (en) 2014-01-03 2018-04-10 Oath Inc. Systems and methods for content processing
US9681166B2 (en) * 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
JP6292295B2 (ja) 2014-04-07 2018-03-14 日本電気株式会社 連携システム、装置、方法、および記録媒体
US20150346959A1 (en) * 2014-05-28 2015-12-03 Facebook, Inc. Systems and methods for providing responses to and drawings for media content
KR102241073B1 (ko) * 2014-06-10 2021-04-16 엘지전자 주식회사 이동 단말기
CN104092957B (zh) * 2014-07-16 2017-07-11 浙江航天长峰科技发展有限公司 一种融合人像和语音的屏幕视频生成方法
US20160055370A1 (en) * 2014-08-21 2016-02-25 Futurewei Technologies, Inc. System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications
US9613033B2 (en) * 2014-08-29 2017-04-04 Yahoo!, Inc. Emotionally relevant content
EP3017755A1 (en) 2014-11-04 2016-05-11 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
KR20170090417A (ko) * 2014-12-03 2017-08-07 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
US10594638B2 (en) 2015-02-13 2020-03-17 International Business Machines Corporation Point in time expression of emotion data gathered from a chat session
CN104753766B (zh) * 2015-03-02 2019-03-22 小米科技有限责任公司 表情发送方法及装置
KR102344063B1 (ko) * 2015-06-29 2021-12-28 엘지전자 주식회사 이동 단말기
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US20180077095A1 (en) * 2015-09-14 2018-03-15 X Development Llc Augmentation of Communications with Emotional Data
US20170090718A1 (en) * 2015-09-25 2017-03-30 International Business Machines Corporation Linking selected messages in electronic message threads
US10097823B1 (en) * 2015-11-13 2018-10-09 Harmonic, Inc. Failure recovery for real-time audio and video encoding, decoding, and transcoding
CN106910513A (zh) * 2015-12-22 2017-06-30 微软技术许可有限责任公司 情绪智能聊天引擎
CN105515955A (zh) * 2015-12-25 2016-04-20 北京奇虎科技有限公司 聊天信息的发布方法及装置
CN105550671A (zh) * 2016-01-28 2016-05-04 北京麦芯科技有限公司 一种人脸识别的方法及装置
CN105847734A (zh) * 2016-03-30 2016-08-10 宁波三博电子科技有限公司 一种基于人脸识别的视频通信方法及系统
KR102462644B1 (ko) 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10638091B2 (en) 2016-07-28 2020-04-28 Sony Corporation Information processing device and information processing method
CN109906461B (zh) * 2016-11-16 2022-10-14 本田技研工业株式会社 情感估计装置和情感估计系统
KR20180057366A (ko) * 2016-11-22 2018-05-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106649712B (zh) * 2016-12-20 2020-03-03 北京小米移动软件有限公司 输入表情信息的方法及装置
EP3610412A4 (en) * 2017-04-14 2020-08-05 Facebook, Inc. REACTIVE PROFILE PORTRAITS
US10338767B2 (en) 2017-04-18 2019-07-02 Facebook, Inc. Real-time delivery of interactions in online social networking system
US9942514B1 (en) * 2017-04-29 2018-04-10 Qualcomm Incorporated Video call power optimization
WO2018209094A1 (en) * 2017-05-11 2018-11-15 Kodak Alaris Inc. Method for identifying, ordering, and presenting images according to expressions
US20210149941A1 (en) * 2017-09-12 2021-05-20 AebeZe Labs System and Method for Autonomously Generating a Mood-Filtered Slideshow
CN108960024A (zh) * 2017-09-19 2018-12-07 炬大科技有限公司 一种基于个人用户的情绪识别方法
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
JP6563466B2 (ja) * 2017-11-30 2019-08-21 株式会社サイバーエージェント チャットシステム、サーバ、チャット方法、端末装置及びコンピュータプログラム
US20200302060A1 (en) * 2017-12-14 2020-09-24 Hewlett-Packard Development Company, L.P. Enabling access to capturing devices by basic input and output systems (bios)
KR102448382B1 (ko) * 2018-01-22 2022-09-28 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
CN108377418B (zh) * 2018-02-06 2021-06-18 北京奇虎科技有限公司 一种视频标注处理方法和装置
JP7013929B2 (ja) * 2018-02-23 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
US10706271B2 (en) * 2018-04-04 2020-07-07 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
US10367931B1 (en) 2018-05-09 2019-07-30 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive communication assistant for enhancing ability and efficiency of users communicating comprehension
CN108830917B (zh) * 2018-05-29 2023-04-18 努比亚技术有限公司 一种信息生成方法、终端及计算机可读存储介质
US11277362B2 (en) * 2018-07-23 2022-03-15 Honda Motor Co., Ltd. Content post delay system and method thereof
CN109274819A (zh) * 2018-09-13 2019-01-25 广东小天才科技有限公司 通话时用户情绪调整方法、装置、移动终端及存储介质
JP7225631B2 (ja) 2018-09-21 2023-02-21 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
US11082578B2 (en) * 2018-09-24 2021-08-03 Dosl, Llc Image capture and transfer system
KR20200040625A (ko) * 2018-10-10 2020-04-20 삼성전자주식회사 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법
US10834543B2 (en) * 2018-11-26 2020-11-10 International Business Machines Corporation Creating a social group with mobile phone vibration
CN111559327B (zh) * 2019-02-14 2022-05-24 华为技术有限公司 一种数据处理方法及对应的装置
KR102233596B1 (ko) * 2019-02-25 2021-03-30 남기원 자동 피드백 데이터 전송시스템
JP7189097B2 (ja) * 2019-07-22 2022-12-13 ｉ－ＰＲＯ株式会社 出席状況管理システム、出席状況管理方法、およびプログラム
CN110587621B (zh) * 2019-08-30 2023-06-06 深圳智慧林网络科技有限公司 机器人、基于机器人的病人看护方法和可读存储介质
US11595739B2 (en) 2019-11-29 2023-02-28 Gree, Inc. Video distribution system, information processing method, and computer program
CN111372029A (zh) * 2020-04-17 2020-07-03 维沃移动通信有限公司 视频显示方法、装置及电子设备
JP7442091B2 (ja) * 2020-04-30 2024-03-04 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム
KR102200816B1 (ko) * 2020-06-29 2021-01-12 주식회사 퓨처플랫폼 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템
CN112135083B (zh) * 2020-09-27 2022-09-06 广东小天才科技有限公司 一种视频通话过程中脸舞互动的方法及系统
CN112203151B (zh) * 2020-10-09 2022-05-17 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
US11671695B2 (en) * 2021-04-08 2023-06-06 Google Llc Systems and methods for detecting tampering with privacy notifiers in recording systems
KR102630803B1 (ko) * 2022-01-24 2024-01-29 주식회사 허니엠앤비 감정 분석 결과 제공 장치 및 감정 분석 결과 제공 시스템
EP4273669A1 (en) * 2022-05-06 2023-11-08 Nokia Technologies Oy Monitoring of facial characteristics
US20240220749A1 (en) * 2022-12-30 2024-07-04 Ford Global Technologies, Llc Systems and methods for tracking a tool stored in an enclosure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690071A (zh) * 2007-06-29 2010-03-31 索尼爱立信移动通讯有限公司 在视频会议和其他通信期间控制化身的方法和终端
CN101789990A (zh) * 2009-12-23 2010-07-28 宇龙计算机通信科技(深圳)有限公司 一种在通话过程中判断对方情绪的方法及移动终端
WO2012139276A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167865B2 (ja) 1994-07-28 2001-05-21 株式会社半導体エネルギー研究所 情報処理装置
US7003731B1 (en) * 1995-07-27 2006-02-21 Digimare Corporation User control and activation of watermark enabled objects
AU2002225593A1 (en) * 2000-10-17 2002-04-29 Digimarc Corporation User control and activation of watermark enabled objects
JP3950802B2 (ja) 2003-01-31 2007-08-01 株式会社エヌ・ティ・ティ・ドコモ 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体
US7669135B2 (en) * 2004-07-15 2010-02-23 At&T Mobility Ii Llc Using emoticons, such as for wireless devices
KR100828371B1 (ko) * 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
EP2106664A2 (en) * 2007-01-23 2009-10-07 Euclid Discoveries, LLC Systems and methods for providing personal video services
JP2009265692A (ja) * 2008-04-21 2009-11-12 Pfu Ltd ノート型情報処理装置、および、画像読取方法
US8447065B2 (en) * 2008-09-16 2013-05-21 Cyberlink Corp. Method of facial image reproduction and related device
US8537196B2 (en) 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
KR101494388B1 (ko) * 2008-10-08 2015-03-03 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
JP2010134785A (ja) * 2008-12-05 2010-06-17 Toshiba Corp 顔認証を利用した情報処理方法および情報表示装置
KR20110012491A (ko) 2009-07-30 2011-02-09 에스케이텔레콤 주식회사 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법
EP2510460A4 (en) * 2009-12-10 2013-05-08 Nokia Corp PROCESS, DEVICE OR PICTURE PROCESSING SYSTEM
TW201220216A (en) 2010-11-15 2012-05-16 Hon Hai Prec Ind Co Ltd System and method for detecting human emotion and appeasing human emotion
JP5854806B2 (ja) * 2010-12-16 2016-02-09 キヤノン株式会社 映像処理装置および映像処理方法
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8832190B1 (en) * 2011-06-20 2014-09-09 Google Inc. Chat-enabled social circles
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US20130086615A1 (en) * 2011-10-03 2013-04-04 SocialEyes, Inc. Concurrent real-time communication with media contextualized activity sharing
KR101951761B1 (ko) * 2012-01-27 2019-02-25 라인 가부시키가이샤 모바일 환경에서 제공되는 서비스에서 아바타를 제공하는 아바타 서비스 시스템 및 방법
KR101907136B1 (ko) * 2012-01-27 2018-10-11 라인 가부시키가이샤 유무선 웹을 통한 아바타 서비스 시스템 및 방법
US9001178B1 (en) * 2012-01-27 2015-04-07 Google Inc. Multimedia conference broadcast system
US8908005B1 (en) * 2012-01-27 2014-12-09 Google Inc. Multiway video broadcast system
US8693648B1 (en) * 2012-04-16 2014-04-08 Google Inc. Providing backstage support for online video communication broadcasts
US20130337420A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Recognition and Feedback of Facial and Vocal Emotions
US9245287B2 (en) * 2012-07-18 2016-01-26 Teletech Holdings, Inc. Method for providing support with associates anywhere and notifications
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20140157153A1 (en) * 2012-12-05 2014-06-05 Jenny Yuen Select User Avatar on Detected Emotion
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9077850B1 (en) * 2013-01-15 2015-07-07 Google Inc. Recording multi-party video calls

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690071A (zh) * 2007-06-29 2010-03-31 索尼爱立信移动通讯有限公司 在视频会议和其他通信期间控制化身的方法和终端
CN101789990A (zh) * 2009-12-23 2010-07-28 宇龙计算机通信科技(深圳)有限公司 一种在通话过程中判断对方情绪的方法及移动终端
WO2012139276A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques

Also Published As

Publication number Publication date
CN103916536A (zh) 2014-07-09
AU2014200039A1 (en) 2014-07-24
US9239949B2 (en) 2016-01-19
EP2753076B1 (en) 2018-08-22
EP2753076A3 (en) 2014-07-30
US20140192134A1 (en) 2014-07-10
KR20140089697A (ko) 2014-07-16
AU2014200039B2 (en) 2019-01-17
KR101988279B1 (ko) 2019-06-12
EP2753076A2 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103916536B (zh) 用于移动终端中的用户界面方法和系统
US11032514B2 (en) Method and apparatus for providing image service
US11416134B1 (en) User interfaces for altering visual media
CN112394895B (zh) 画面跨设备显示方法与装置、电子设备
US11778339B2 (en) User interfaces for altering visual media
KR102496225B1 (ko) 영상 인코딩 방법 및 이를 지원하는 전자 장치
KR20140113160A (ko) 이동 단말기 및 이의 제어방법
US11792504B2 (en) Personalized videos
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
KR20170073068A (ko) 이동단말기 및 그 제어방법
KR20140010525A (ko) 이모티콘 서비스 시스템 및 그의 이모티콘 서비스 제공 방법
KR20100086161A (ko) 바람 인식을 통한 동작 제어 장치 및 방법
KR102058190B1 (ko) 캐릭터 서비스 시스템에서의 캐릭터 서비스를 제공하기 위한 장치
WO2022068642A1 (zh) 一种消息显示方法及电子设备
CN115550559A (zh) 视频画面显示方法、装置、设备和存储介质
US10531401B2 (en) Method, terminal device and system for controlling transmission
CN112489619A (zh) 语音处理方法、终端设备及存储介质
CN110263211A (zh) 资源同步方法及装置
CN109981729A (zh) 文件处理方法、装置、电子设备及计算机可读存储介质
KR20180056273A (ko) 이동 단말기 및 그 제어방법
CN104519394B (zh) 节目播放方法及装置
CN114691619A (zh) 信息分享方法、智能终端及存储介质
CN117608465A (zh) 信息处理装置、显示方法以及存储介质和计算机装置
KR20140008687A (ko) 캐릭터 서비스 시스템, 그 시스템에서의 캐릭터 서비스를 제공하기 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant