CN106415664A - 生成消息与社交网络应用的用户面部表情库的系统和方法 - Google Patents

生成消息与社交网络应用的用户面部表情库的系统和方法 Download PDF

Info

Publication number
CN106415664A
CN106415664A CN201580029076.XA CN201580029076A CN106415664A CN 106415664 A CN106415664 A CN 106415664A CN 201580029076 A CN201580029076 A CN 201580029076A CN 106415664 A CN106415664 A CN 106415664A
Authority
CN
China
Prior art keywords
user
image
face
application
storehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580029076.XA
Other languages
English (en)
Other versions
CN106415664B (zh
Inventor
琼斯·加西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106415664A publication Critical patent/CN106415664A/zh
Application granted granted Critical
Publication of CN106415664B publication Critical patent/CN106415664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了使用用户图像表示消息或社交网络应用中用户的真实或个性化情绪的实施例。为此目的生成了用户面部表情图像库，并且可通过智能手机或其它用户设备上的消息或社交网络应用访问该用户面部表情图像库。所述面部表情图像包括传达所述用户的情绪或表情的所述用户的面部图片，例如笑脸或哭脸。一种实施例方法包括：检测电子设备可访问的图像；确定所述图像是否显示所述用户的面部以及所述图像是否显示所述用户的所述面部表达的面部表情；按照所述确定步骤将所述图像添加到所述用户的面部表情库中；以及将消息，包括所述图像，作为表情符号发送。

Description

生成消息与社交网络应用的用户面部表情库的系统和方法
相关申请案交叉申请
本发明要求2014年8月21日递交的发明名称为“生成消息与社交网络应用的用户面部表情库的系统和方法(Systems and Methods of Generating User FacialExpression Library for Messaging and Social Networking Applications)”的第14/465,603号美国非临时专利申请案的在先申请优先权，该在先申请的全部内容以引入的方式并入本文本中。
技术领域
本发明涉及消息与社交网络，以及在具体实施例中，涉及生成消息与社交网络应用的用户面部表情库的系统和方法。
背景技术
消息与社交网络已广泛用于在用户或订户之间传送文本和媒体(例如，声音、音乐、视频)。由在线和/或无线服务提供商提供的消息与社交网络应用及服务向用户提供了多种通信功能，例如即时聊天、即时消息、短信息服务(Short Message Service，SMS)消息以及多媒体信息服务(Multimedia Messaging Service，MMS)消息。用户可以利用这些功能来表达他们的想法和当下的情绪。表达用户情绪的一种方式是通过SMS或即时消息发送大体上表达心情、情绪或思想状态的图标或图案等。然而，这些图标和图案通常是由消息应用或所用服务等预先定义和预先设定好的，因此，缺乏个性并可能会随着时间的推移而变得普通。有必要改善通过消息与社交网络应用及服务传达用户情绪和思想状态的方式，以提供更加个性化、更好的用户体验。
发明内容
根据一项实施例，一种由与用户关联的电子设备执行的方法包括检测所述电子设备可访问的图像，确定所述图像是否显示所述用户的面部以及所述图像是否显示所述用户的所述面部表达的面部表情，以及按照所述确定步骤将所述图像添加到所述用户的面部表情库中。所述方法还包括将消息，包括所述库中的所述图像，作为表情符号发送。
根据另一项实施例，一种由网络服务器执行的方法包括在数字图像中检测用户的面部以及在所述数字图像中检测所述用户的所述面部表达的面部表情，将所述数字图像添加到描绘所述用户的面部表情的数字图像库中，以及提供运行于所述用户的电子设备上的应用对所述库的访问。所述应用包括将所述电子设备中的所述数字图像作为表情符号发送的选项。
根据又一项实施例，一种与用户关联的电子设备包括至少一个处理器，提供用户界面的显示屏，以及存储由所述至少一个处理器执行的程序的非瞬时性计算机可读存储介质。所述程序包括执行以下操作的指令：检测所述电子设备可访问的图像；确定所述图像是否显示用户面部以及所述图像是否显示所述用户的所述面部表达的面部表情；以及按照所述确定步骤将所述图像添加到所述用户的面部表情库中。所述程序包括将消息，包括所述库中的所述图像，作为表情符号发送的其它指令。
根据另一项实施例，一种网络服务器包括至少一个处理器以及存储由所述至少一个处理器执行的程序的非瞬时性计算机可读存储介质。所述程序包括执行以下操作的指令：在数字图像中检测用户的面部以及在所述数字图像中检测所述用户的所述面部表达的面部表情；将所述数字图像添加到描绘所述用户的面部表情的数字图像库中；以及提供运行于所述用户的电子设备上的应用对所述库的访问。所述应用包括将所述电子设备中的所述数字图像作为表情符号发送的选项。
根据又一项实施例，一种系统包括与用户关联的电子设备以及一个或多个网络服务器。所述电子设备与所述一个或多个网络服务器单独或共同用于检测所述电子设备可访问的图像，确定所述图像是否显示所述用户的面部以及所述图像是否显示所述用户的所述面部表达的面部表情，以及按照所述确定步骤将所述图像添加到所述用户的面部表情库中。运行于与所述用户关联的所述电子设备上的应用可访问所述库。所述应用包括将所述电子设备中的所述数字图像作为表情符号发送的选项。
根据又一项实施例，一种与用户关联的电子设备包括至少一个处理器，提供用户界面的显示屏，以及检测所述电子设备可访问的图像的检测器；确定所述图像是否显示用户的面部以及所述图像是否显示所述用户的所述面部表达的面部表情的确定元件；按照所述确定步骤将所述图像添加到所述用户的面部表情库中的图像处理元件；以及将消息，包括所述库中的所述图像，作为表情符号发送的发射器。
根据另一项实施例，一种网络服务器包括至少一个处理器。所述网络服务器还包括：在数字图像中检测用户的面部以及在所述数字图像中检测所述用户的所述面部表达的面部表情的检测器；将所述数字图像添加到描绘所述用户的面部表情的数字图像库中的图像处理元件；以及提供运行于所述用户的电子设备上的应用对所述库的访问的发射器。所述应用包括将所述电子设备中的所述数字图像作为表情符号发送的选项。
前述内容已经相当宽泛地概述了本发明一项实施例的特征，从而能够更好地理解接下来对本发明的详细说明。下文将描述本发明实施例的另外特征和优点，这些构成本发明权利要求的主题。本领域技术人员应理解，所公开的构思和具体实施例可被很容易地用作修改或设计用于实现本发明的相同目的的其它结构或过程的基础。本领域技术人员也应该认识到，这类等同结构没有偏离所附权利要求中阐述的本发明的精神和范围。
附图说明
为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，其中：
图1为示出了在设备的图像相册中检测用户面部图像的系统的实施例的图；
图2A为示出了实施消息或社交网络应用中的选项以插入对应于既定情绪的用户面部图像的实施例的图；
图2B为示出了用作消息应用中的表情符号的可用用户面部图像的视图的图；
图3为示出了可将用户面部图像用作表情符号的系统的自动操作实施例方法的流程图；
图4为示出了通过图3的系统处理图像的实施例方法的流程图；
图5为将用户面部表情库用于消息与社交网络应用中的一种实施例系统的图；
图6为将用户面部表情库用于消息与社交网络应用中的另一种实施例系统的图；
图7为将用户面部表情库用于消息与社交网络应用中的另一种实施例系统的图；
图8为将用户面部表情库用于消息与社交网络应用中的另一种实施例系统的图；以及
图9为可用于实施各种实施例的处理系统的图。
除非另有指示，否则不同图中的对应标号和符号通常指代对应部分。绘制各图是为了清楚地说明实施例的相关方面，因此未必是按比例绘制的。
具体实施方式
下文将详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。
本文中提供了使用用户图像表示消息或其它社交网络应用中用户的真实或个性化情绪或思想状态的系统和方法实施例。如本文中所用的，术语“图像”是指描绘或记录视觉感受的伪影，例如一张二维照片，这种伪影与某个主体(例如，一个人)具有相似外观，从而便于对该主体进行描绘。图像可以是二维的，例如一张人物照片，也可以通过照相机、镜子、镜头、望远镜、显微镜或其它光学设备捕捉。图像可以以电子方式(例如，以数字图像的形式)存储在带存储器的电子设备上，也可以显示在电子显示屏(屏幕)上。为此目的生成了一组由用户面部表情图像库描绘的用户情绪或思想状态，并且可通过消息或社交网络平台/服务连接或访问这些用户情绪或思想状态。平台可以是在一个或一系列用户设备上使用的软件应用或程序(代码)。服务可以由在线和/或无线服务提供商或运营商提供给用户或订户。用户面部表情图像显示表达用户的各种表情、情绪、态度或思想状态的用户面部(例如，面部照片)。例如，用户面部表情图像包括笑脸、哭脸、怒脸和/或其它面部表情。图像可以是经过裁剪的用户面部图像。图像可以是通过数码相机或任何其它设备或装置(例如，扫描仪)捕获的且以数字格式存储在用于存储数字媒体的任何合适的存储器设备上的数字图像。
用户面部表情图像可以通过平台或服务提供的文本或即时消息等方式发送。平台和服务可以包括各种用户设备支持的社交网络平台(如FacebookTM)、即时消息平台(如TwitterTM、Facebook MessengerTM)、媒体交换平台(如InstagramTM、FlickerTM)、文本消息服务(如SMS、MMS、WhatsAppTM、WeChatTM)或其它合适的平台和服务。用户设备示例包括智能手机、平板电脑、笔记本电脑和台式电脑。如本文中所用的，术语“消息与社交网络平台”是指通过智能手机或平板电脑上的可下载应用(一般称为“应用”)或安装在这些设备上的任何软件程序/代码、以计算机设备上的网页浏览器等各种适合形式运行于各种设备上的任何消息或社交网络应用及服务。消息与社交网络平台及服务还可通过限制或不限制下载的基于云的应用访问或使用。应用或程序可以在这些设备上处理、在一个或多个远程服务器上(例如，在云中或互联网中)处理并被这些设备访问，可以在多个设备/服务器之间以分布式方式处理，或者可以结合采用这些处理方式处理。
文本消息应用包括允许两个或更多用户通过无线服务提供商网络在手机或固定或便携式设备上相互之间发送电子消息的任何应用。消息可以通过短信息服务(ShortMessage Service，SMS)发送。消息还可以包含图像、视频和声音内容(被称为MMS消息)。每个设备上的客户端应用可以发送和接收这些消息。服务还应该受提供商的网络支持，以允许设备发送文本消息。
即时消息是一种通过互联网、互联网协议(Internet Protocol，IP)网络、无线或蜂窝网络或其它合适的网络提供实时文本传输的电子(在线)聊天。局域网(Local AreaNetwork，LAN)通讯工具通过LAN以类似方式运行。即时消息通常涉及在两方或更多方之间双向传输短消息，例如，在每个用户选择结束思考并选择“发送”时。有些即时消息应用可以采用推送技术来提供实时文本，从而如同文本构成一样逐个字符地传输消息。更多高级即时消息可以添加文件传输、可点击的超链接、网络电话(Voice over IP，VoIP)或视频聊天。与文本消息类似，每个设备上的客户端即时消息应用可以发送和接收这些消息。端到端协议可以用于让两个或更多客户端应用交换消息。其它即时消息协议要求客户端或对端连接到云或提供商网络中的服务器。
社交网络平台是一项让有着相同兴趣爱好、活动、背景或现实联系的人士或用户之间建立社交关系的服务。社交网络服务包括每个用户的身份(通常为个人资料)、其社会联系以及多种附加服务。社交网络服务可以是通过网站或“应用”在线访问的且允许用户创建公开个人资料、创建与其建立联系的用户名单以及在系统内查看和删除联系内容的基于网络的服务。社交网络服务可以为用户提供通过互联网(或其它合适网络)进行交互的方式，例如，通过电子邮件和即时消息。社交网络服务包括管理用户之间的联系的服务器，例如，用户设备上通过网站或“应用”进行的联系。网站或“应用”作为用户设备上的客户端应用，与社交网络服务的服务器进行交互。
具体而言，系统会在用户的专属存储空间自动生成描绘用户面部表情和情绪的图像库。如本文中所用的，术语“库”是指任何合适的图像逻辑组，例如，用户设备可访问的本地或远程存储器上的一个或多个文件夹中的数字文件。因此，库可以表示数字图像相册。例如，存储空间可以位于一个或一系列设备的本地存储器中，或位于与用户关联的云中的远程存储空间(例如，互联网可访问的远程存储器)中。用户面部表情图像库还可以位于一个设备/位置上，或分布在多个设备/位置上。此外，库或库中图像的多个副本可以存储在多个设备/位置中(例如，存储在云中以及一个或多个用户设备上)。图像可以以适合在消息与社交网络应用中显示的任何图像文件格式存储在用户面部表情库中。可以支持的图像文件格式示例包括便携式网络图形(Portable Network Graphics，PNG)、联合图像专家组(JointPhotographic Experts Group，JPEG)、位图图像文件(bitmap image file，BMP)和图形交换格式(Graphics Interchange Format，GIF)或这些设备支持的任何其它格式。
在实施例中，消息与社交网络平台可以包括描绘用户面部表情的图像库或在同一设备上与之建立连接。例如，智能手机上的“应用”可以连接到也存储在同一智能手机上的图像库。如果应用被云中的服务器托管，同一服务器也可以托管图像库。在其它实施例中，可以在不同组件上托管应用和图像库。例如，可以在用户设备(如智能手机)上托管库，在远程服务器上托管应用。或者，应用可以是用户设备上的应用，可以在云中或另一个设备上远程托管库。
为生成用户面部表情图像库，采用面部识别函数自动分析用户设备上拍摄、上传、接收或显示的图像相册(如数字文件夹)中与用户关联的任何现有图像。图1显示了在智能手机等设备的通用数字图像相册中检测用户面部图像的实施例。相册可以存储在设备上、可以进行远程存储(例如，存储在云中或一个或多个远程服务器或设备中)并可被设备访问，或者可以同时存储在设备上和进行远程存储并可被设备访问。如果面部识别函数在图像中检测到用户面部，如需要，则对图像进行适当裁剪以捕捉面部，然后将其添加到用户面部表情库中。例如，如果图像显示除用户图像以外的其它对象，则沿着用户面部对图像进行裁剪。面部识别函数被训练用于通过分析用户面部的现有图像来识别用户面部。例如，在建立面部识别函数后，用户可以选择设备或远程存储空间中现有的一个或多个用户面部图像，以训练面部识别算法。用户还可以随时将一个或多个用户面部图像手动添加到库中，以供面部识别函数用于分析和进一步训练面部识别算法。在一项实施例中，自动面部识别函数运算还可以包括提示用户确认分析结果。在用户确认后，如果用户许可，将用户面部图像添加到用户面部表情图像库中。如果通过函数运算得出的分析结果不具有确定性，用户可以选择接受或拒绝图像。用户还可以随时将图像添加到库中或者删除图像。
将被添加到库中的每个用户面部图像也可以采用面部表情或情绪识别函数进行自动分析。例如，如图1所示，被面部识别函数检测到的、且被添加到用户面部表情图像库中的面部图像是采用面部表情识别函数，在本文中也被称为情绪识别函数，进行分析的。根据分析结果，用户面部图像被归为可用面部表情和情绪类别中的一种，例如欢乐、悲伤、愤怒、兴奋以及其它可能的情绪或面部表情类别。采用每个情绪类别的现有用户面部图像进一步训练面部表情识别算法。在一项实施例中，自动情绪识别函数运算还可以包括提示用户确认分析结果。因此，如果用户许可，可以将用户面部图像添加到情绪类别中。如果通过函数运算得出的分析结果不具有确定性，用户可以选择将图像添加到情绪或面部表情类别中。用户还可以选择添加或删除面部表情/情绪类别，以及进一步移动、添加或删除类别中的图像。
面部识别函数和情绪识别函数的实施可以与消息和社交网络应用/服务分开。算法可以在用户设备上、在用户设备可访问的一个或多个远程设备/服务器上、在云中或其它合适的装置中处理。因此，函数可以在一个或多个连接到消息与社交网络应用的远程实体上处理。或者，同样的一个或多个设备可以实施函数和应用/服务。在一项实施例中，面部识别函数和情绪识别函数可以整合到消息与社交网络应用中，例如，作为一项附加功能或软件的一部分。
系统允许用户将库中的任何用户面部图像显示在消息或社交网络应用中。具体而言，消息/网络应用中的选项允许用户将库中对应于既定情绪或面部表情的用户面部图像插入到应用的文本或消息框中。用户面部表情库用作应用可用的表情符号，换言之，用作表达用户情绪的词库。术语“表情符号”是指指示或表示用户(发送者)的性情或脾气的面部表情的任何图示。表情符号可以替代文本或文字用在消息或社交网络应用中，以传达发送者的心情、情绪或思想状态。
图2A显示了实施消息应用中的该选项的实施例。将该选项添加到用于插入各种类型的图标(笑脸、花朵、车辆、符号)的应用的现有选项中。当用户选择该选项时，会显示用作表情符号的可用用户面部图像的视图，如图2B所示。例如，在图2A中，用户可以点击或轻击可用选项底部一行的小用户面部图标，以输入图2B中可用用户面部表情图像的视图。显示的用户面部图像表示用户的多种情绪或状态(例如，用户笑脸、怒脸及其它表情)，用户可以从中选择一个适当的面部表情图像，以表示用户希望传达的情绪或状态。因此，选择的图像会被插入到上述文本或消息框中，以发送给通信另一端的对应用户或发布到社交网络应用中等。
图3显示了系统使用用作表情符号的用户面部图像进行的自动操作的实施例方法300的流程。该方法可以由用户设备实施，例如智能手机、平板电脑、笔记本电脑或台式电脑。在步骤310，打开(启动)设备。在步骤320，设备确定是否已启用面部和情绪识别算法。作为系统设置的一部分，用户可以启用或禁用这两种算法。可以将应用加载或安装到设备上，或者可以从远程服务器上或互联网中(如云中)通过远程连接等远程访问应用。如果禁用这两种算法，那么，在步骤330，设备可访问的应用可以使用应用可用的任何通用情绪图标(如笑脸)。可以将应用安装到设备上，或者可以从远程服务器上或互联网中(如云中)通过远程连接等访问应用。如果启用这两种算法，那么，在步骤340，面部和情绪(面部表情)识别算法会在用户设备中的一个或多个相册图像以及图像上自动运行。可以将一个或多个这些图像相册以及图像安装到该设备或多个设备上、进行远程安装(如云中)或者结合采用这几种方式安装。例如，在打开或重启设备后，或者由用户、应用或远程服务器启动后，每次检测到、捕获到、显示或下载图像，这两种算法都会运行。因此，在步骤350，会根据算法结果自动生成或更新用户面部表情库。在步骤360，应用可以使用这个库。在另一项实施例中，上述方法经适当调整，可以由以用户的注册帐户运行消息或社交网络应用的服务器实施。
图4显示了在上述系统中处理图像的实施例方法400的流程。方法400可以是方法300的一部分，并可以由用户设备实施。在步骤410，检测到了新图像。该新图像可能是设备上最新下载、接收、捕获或显示的图像。在一个示例中，该新图像可以被添加到远程实体(远程服务器(云中)或远程设备)中并可被用户设备检测到。在步骤420，启用面部和情绪识别算法以处理图像。在步骤430，该方法根据算法结果验证对应于图像的面部表情或情绪是否存在于情绪或面部表情库中。如果对应于图像的情绪或面部表情不存在于库中，那么，在步骤440，将这种情绪或表情创建为新的情绪或表情并将图像添加到库中。如需要，该步骤可以包括裁剪或转换图像格式。然后，在步骤460，该方法相应地更新个人情绪库，以供消息与社交网络应用使用。或者，如果对应于图像的表情或情绪确实存在，那么，在步骤450，用户会被询问对是否保留图像做出决定。如果用户决定保留图像，该方法前进至步骤460，通过添加图像来更新库。如果用户决定不保留图像，那么，在步骤470，图像会被删除。在另一项实施例中，上述方法经适当调整，可以由以用户的注册帐户运行消息或社交网络应用的服务器实施。
在多项实施例中，上述方法可以由用户设备、通过链路连接的多个设备、(例如，互联网中或云中)服务器等网络设备或其组合实施。在一项实施例中，面部识别函数、面部表情或情绪识别函数、消息或社交网络应用以及用户面部表情库位于用户设备上，如智能手机或平板电脑。在另一项实施例中，上述系统的组件分布于用户设备与一个或多个远程服务器之间，如云中。例如，用户设备托管面部识别函数和面部表情识别函数，而一个或多个远程服务器托管设备可通过无线/蜂窝、WiFi或互联网连接等方式访问的消息或社交网络应用。或者，一个或多个远程服务器托管设备可访问的面部识别函数和面部表情识别函数，而用户设备托管消息或社交网络应用。可以在用户设备、远程服务器或用户设备与远程服务器上托管库。在两个或更多用户设备之间有交换消息的情形下，如上所述的方法、函数和应用可以用在其中一个用户设备的一端或两端。
如上所述，检测用户面部图像和表情的方法以及相应地将图像添加到库104中的决定可以由用户设备主要实施。图5示出了由与服务提供商网络、互联网或这两者等网络120进行通信的智能手机等用户设备110组成的系统500的实施例。用户设备110包括图像检测和决策模块101、面部和面部表情识别函数或算法102、应用103(例如，消息或社交网络应用)以及描绘用户面部表情的图像库104。图像检测和决策模块101检测被设备110访问的图像并根据算法102决定是否将图像添加到库104中。可以通过程序等软件将模块101配置到设备110上。可以将被设备110访问的图像存储到设备110或外部存储器/远程服务器上，并可通过设备110与外部存储器/远程服务器之间的连接访问该图像。库104可以被应用103使用(访问)，以将用户面部表情图像作为表情符号发送。
图6示出了由一个或多个服务器130以及与网络120通信的用户设备110组成的另一个系统600的实施例。用户设备110包括图像检测和决策模块101，而一个或多个服务器130由面部和面部表情识别算法102、应用103(例如，消息或社交网络应用)以及描绘用户面部表情的图像库104组成。设备110可以与服务器130进行通信，以访问和使用应用103。在其它实施例中，模块101位于设备110上，而算法102、应用103和库104以任何适合的实施方式分布于用户设备110与一个或多个服务器130之间。
或者，检测用户面部图像和表情的方法以及相应地将图像添加到库中的决定可以由网络侧与用户设备进行通信的服务器主要实施。图7示出了由一个或多个服务器130以及与网络120通信的用户设备110组成的系统700的实施例。一个或多个服务器130包括图像检测和决策模块101、面部和面部表情识别函数或算法102、应用103(例如，消息或社交网络应用)以及用户面部表情图像库104。被服务器130访问的图像可以存储到同一个或另一个服务器130、设备110或外部存储器/远程服务器(未示出)上。库104可以被应用103访问，以将用户面部表情图像作为表情符号发送。用户设备110可以访问服务器130上的应用103或与之通信，以发送库104中的用户面部表情图像。
图8示出了由服务器130以及与网络120通信的用户设备110组成的另一个系统800的实施例。服务器130包括图像检测和决策模块101，而用户设备110由面部和面部表情识别算法102、应用103以及用户面部表情图像库104组成。服务器130可以与设备110进行通信，以使用算法102并相应地将用户面部表情图像添加到库104中。库104可以被设备110上的应用102访问。在其它实施例中，模块101位于服务器130上，而算法102、应用103和库104以任何适合的实施方式分布于用户设备110与网络120之间。
图9为可用于实施各种实施例的处理系统900的方框图。例如，处理系统900可以是智能手机、平板电脑、笔记本电脑或台式电脑等用户设备的一部分。处理系统也可以是可通过用户设备与用户进行通信的服务器的一部分。特定装置可利用所有所示的组件或所述组件的仅一子集，且装置之间的集成程度可能不同。此外，设备可以包括部件的多个实例，例如多个处理单元、处理器、存储器、发射器、接收器等。处理系统900可以包括配备一个或多个输入/输出设备，例如扬声器、麦克风、鼠标、触摸屏、按键、键盘、打印机、显示器等的处理单元901。处理单元901可包括中央处理器(CPU)910、存储器920、大容量存储设备930、视频适配器940，以及连接到总线的I/O接口960。所述总线可以为任何类型的若干总线架构中的一个或多个，包括存储总线或者存储控制器、外设总线、视频总线等等。
所述CPU 910可包括任何类型的电子数据处理器。存储器920可包括任意类型的系统存储器，例如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-only memory，ROM)或其组合等等。在实施例中，存储器920可包括在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。在实施例中，存储器920是非瞬时的。大容量存储设备930可包括任意类型的存储设备，其用于存储数据、程序和其它信息，并使这些数据、程序和其它信息通过总线访问。大容量存储设备930可包括如下项中的一种或多种：固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等等。
视频适配器940以及I/O接口960提供接口以将外部输入输出设备耦合至处理单元。如图所示，输入输出设备的示例包括耦合至视频适配器940的显示器990和耦合至I/O接口960的鼠标/键盘/打印机970的任意组合。其它设备可以耦合至处理单元901，可以利用附加的或更少的接口卡。举例来说，串行接口卡(未示出)可以用于为打印机提供串行接口。
处理单元901还包括一个或多个网络接口950，网络接口950可包括以太网电缆等有线链路，和/或到接入节点或者一个或多个网络980的无线链路。网络接口950允许处理单元901通过网络980与远程单元通信。例如，网络接口950可以通过一个或多个发射器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一项实施例中，处理单元901耦合至局域网或广域网以用于数据处理以及与远程装置通信，所述远程装置如其它处理单元、因特网、远程存储设施等。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其它特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或组件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间组件间接地耦合或通信。其它变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (45)

1.一种由与用户关联的电子设备执行的方法，其特征在于，包括：
检测所述电子设备可访问的图像；
确定所述图像是否显示所述用户的面部以及所述图像是否显示所述用户的所述面部表达的面部表情；
按照所述确定步骤将所述图像添加到所述用户的面部表情库中；以及
将消息，包括所述库中的所述图像，作为表情符号发送。
2.根据权利要求1所述的方法，其特征在于，还包括：
提供应用对所述库的访问；以及
使所述应用将所述图像从所述库发送到网络或接收者。
3.根据权利要求2所述的方法，其特征在于，所述应用是在所述用户与一个或多个其他用户之间发送和接收消息的文本消息应用、在所述用户与一个或多个其他用户之间交换实时消息的即时消息应用，以及发布所述用户的消息供一个或多个其他用户查看的社交网络应用中的一种。
4.根据权利要求2所述的方法，其特征在于，提供所述应用对所述库的访问包括将在所述电子设备上显示所述图像的一种选项添加到所述应用中。
5.根据权利要求4所述的方法，其特征在于，还包括：
在所述用户选择所述选项时，显示所述库中用户面部图像的视图；
在所述用户选择一个所述用户面部图像时，通过所述应用将所述选择的一个所述用户面部图像显示在所述电子设备上；
通过所述应用发送所述选择的一个所述用户面部图像。
6.根据权利要求5所述的方法，其特征在于，所述用户面部图像描绘所述用户的多种面部表情。
7.根据权利要求1所述的方法，其特征在于，所述图像是在所述电子设备上下载、显示或接收所述图像时检测到的。
8.根据权利要求1所述的方法，其特征在于，所述图像是在打开所述电子设备时检测到的。
9.根据权利要求2所述的方法，其特征在于，所述确定步骤包括：
采用面部识别算法分析所述图像，包括所述确定所述图像是否显示所述用户的所述面部；以及
采用面部表情识别算法分析所述图像，包括所述确定所述图像是否显示所述面部表情。
10.根据权利要求9所述的方法，其特征在于，所述面部识别算法、所述面部表情识别算法、所述应用和所述面部表情库中的至少一个位于所述电子设备上。
11.根据权利要求9所述的方法，其特征在于，所述面部识别算法、所述面部表情识别算法、所述应用和所述面部表情库中的至少一个可被所述电子设备远程访问。
12.根据权利要求9所述的方法，其特征在于，还包括在打开所述电子设备时启用所述电子设备上的所述面部识别算法和所述面部表情识别算法。
13.根据权利要求9所述的方法，其特征在于，还包括：
在打开所述电子设备时，提示所述用户启用所述面部识别算法和所述面部表情识别算法；以及
在接收所述用户的许可时，启用所述面部识别算法和所述面部表情识别算法。
14.一种由网络服务器执行的方法，其特征在于，包括：
在数字图像中检测用户的面部以及在所述数字图像中检测所述用户的所述面部表达的面部表情；
将所述数字图像添加到描绘所述用户的面部表情的数字图像库中；以及
提供运行于所述用户的电子设备上的应用对所述库的访问，
其中所述应用包括将所述电子设备中的所述数字图像作为表情符号发送的选项。
15.根据权利要求14所述的方法，其特征在于，所述库存储在所述网络服务器、所述用户的所述电子设备和远程存储器中的至少一个中。
16.根据权利要求14所述的方法，其特征在于，所述应用是在所述用户与一个或多个其他用户之间发送和接收消息的文本消息应用、在所述用户与一个或多个其他用户之间交换实时消息的即时消息应用、以及发布所述用户的消息供一个或多个其他用户查看的社交网络应用中的一种。
17.根据权利要求15所述的方法，其特征在于，所述应用在所述用户的所述电子设备上是可执行的，并可与所述网络服务器进行通信以访问所述库。
18.根据权利要求15所述的方法，其特征在于，所述应用在所述网络服务器上或与所述网络服务器关联的网络中是可执行的。
19.根据权利要求15所述的方法，其特征在于，在接收所述用户提出的显示或发送所述库中任意一个所述数字图像的请求后为所述应用提供对所述库的访问。
20.根据权利要求15所述的方法，其特征在于，所述网络服务器是与所述用户的所述电子设备相连接的一种基于云的服务器。
21.根据权利要求15所述的方法，其特征在于，采用面部识别算法在所述数字图像中检测所述用户的所述面部，以及采用面部表情识别算法在所述数字图像中进一步检测所述面部表情。
22.根据权利要求21所述的方法，其特征在于，还包括在采用所述面部识别算法在所述数字图像中检测所述用户的所述面部后采用所述面部表情识别算法分析所述数字图像。
23.根据权利要求21所述的方法，其特征在于，在所述数字图像中检测到所述面部表情后将所述数字图像添加到所述库中。
24.根据权利要求21所述的方法，其特征在于，还包括：
在所述数字图像中未检测到面部表情时，提示所述用户接受所述库中的所述数字图像；以及
在所述用户许可后，执行将所述数字图像添加到所述库中。
25.一种与用户关联的电子设备，其特征在于，包括：
至少一个处理器；
提供用户界面的显示屏；以及
存储由所述至少一个处理器执行的程序的非瞬时性计算机可读存储介质，所述程序包括执行以下操作的指令：
检测所述电子设备可访问的图像；
确定所述图像是否显示用户面部以及所述图像是否显示所述用户的所述面部表达的面部表情；
按照所述确定步骤将所述图像添加到所述用户的面部表情库中；以及将消息，包括所述库中的所述图像，作为表情符号发送。
26.根据权利要求25所述的电子设备，其特征在于，所述程序包括提供应用对所述库的访问的其它指令，其中所述应用是在所述用户与一个或多个其他用户之间发送和接收消息的文本消息应用、在所述用户与一个或多个其他用户之间交换实时消息的即时消息应用、以及发布所述用户的消息供一个或多个其他用户查看的社交网络应用中的一种。
27.根据权利要求26所述的方法，其特征在于，所述程序包括执行以下操作的其它指令：
采用面部识别算法分析所述图像，包括所述确定所述图像是否显示所述用户的所述面部；以及
采用面部表情识别算法分析所述图像，包括所述确定所述图像是否显示所述面部表情。
28.根据权利要求27所述的电子设备，其特征在于，所述面部识别算法、所述面部表情识别算法、所述应用和所述面部表情库中的至少一个位于所述电子设备上。
29.根据权利要求27所述的电子设备，其特征在于，所述面部识别算法、所述面部表情识别算法、所述应用和所述面部表情库中的一个可被所述电子设备远程访问。
30.根据权利要求25所述的电子设备，其特征在于，所述电子设备是智能手机、平板电脑、笔记本电脑、台式电脑和通信设备中的一种。
31.一种网络服务器，其特征在于，包括：
至少一个处理器；以及
存储由所述至少一个处理器执行的程序的非瞬时性计算机可读存储介质，所述程序包括执行以下操作的指令：
在数字图像中检测用户的面部以及在所述数字图像中检测所述用户的所述面部表达的面部表情；
将所述数字图像添加到描绘所述用户的面部表情的数字图像库中；以及
提供运行于所述用户的电子设备上的应用对所述库的访问，
其中所述应用包括将所述电子设备中的所述数字图像作为表情符号发送的选项。
32.根据权利要求31所述的网络服务器，其特征在于，所述库存储在所述网络服务器、所述用户的所述电子设备和远程存储器中的至少一个中。
33.根据权利要求31所述的网络服务器，其特征在于，所述应用是在所述用户的所述电子设备上可执行的文本消息应用、即时消息应用和社交网络应用中的一种。
34.根据权利要求31所述的网络服务器，其特征在于，所述应用是在与所述网络服务器关联的网络中可执行的文本消息应用、即时消息应用和社交网络应用中的一种。
35.根据权利要求31所述的网络服务器，其特征在于，所述网络服务器是所述用户的所述电子设备可远程访问的一种基于云的服务器。
36.一种系统，其特征在于，包括：
与用户关联的电子设备；以及
一个或多个网络服务器，
其中所述电子设备与所述一个或多个网络服务器单独或共同用于：
检测所述电子设备可访问的图像；
确定所述图像是否显示所述用户的面部以及所述图像是否显示所述用户的所述面部表达的面部表情；以及
按照所述确定步骤将所述图像添加到所述用户的面部表情库中，
其中运行于与所述用户关联的所述电子设备上的应用可访问所述库，以及
所述应用包括将所述电子设备中的所述数字图像作为表情符号发送的选项。
37.根据权利要求36所述的系统，其特征在于，所述电子设备用于检测所述图像。
38.根据权利要求36所述的系统，其特征在于，所述一个或多个网络服务器用于检测所述图像。
39.根据权利要求36所述的系统，其特征在于，所述电子设备用于采用面部识别算法和面部表情识别算法中的至少一个分析所述图像。
40.根据权利要求36所述的系统，其特征在于，所述一个或多个网络服务器用于采用面部识别算法和面部表情识别算法中的至少一个分析所述图像。
41.根据权利要求36所述的系统，其特征在于，所述电子设备与所述一个或多个网络服务器还单独或共同用于为所述电子设备上可远程访问的文本消息应用、即时消息应用和社交网络应用中的至少一种提供对库的访问。
42.根据权利要求36所述的系统，其特征在于，所述程序包括为位于所述电子设备上的文本消息应用、即时消息应用和社交网络应用中的至少一种提供对所述库的访问的其它指令。
43.根据权利要求36所述的系统，其特征在于，所述一个或多个网络服务器由服务提供商或网络运营商操作。
44.根据权利要求43所述的系统，其特征在于，所述电子设备能够通过蜂窝链路和WiFi链路中的一种与所述一个或多个网络服务器进行通信。
45.根据权利要求36所述的系统，其特征在于，所述一个或多个网络服务器由互联网服务提供商或云服务提供商操作。
CN201580029076.XA 2014-08-21 2015-08-11 生成消息与社交网络应用的用户面部表情库的系统和方法 Active CN106415664B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/465,603 2014-08-21
US14/465,603 US20160055370A1 (en) 2014-08-21 2014-08-21 System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications
PCT/CN2015/086646 WO2016026402A2 (en) 2014-08-21 2015-08-11 System and methods of generating user facial expression library for messaging and social networking applications

Publications (2)

Publication Number Publication Date
CN106415664A true CN106415664A (zh) 2017-02-15
CN106415664B CN106415664B (zh) 2021-08-20

Family

ID=55348560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580029076.XA Active CN106415664B (zh) 2014-08-21 2015-08-11 生成消息与社交网络应用的用户面部表情库的系统和方法

Country Status (6)

Country Link
US (1) US20160055370A1 (zh)
EP (1) EP3170150A4 (zh)
JP (1) JP2017526074A (zh)
KR (1) KR20170043588A (zh)
CN (1) CN106415664B (zh)
WO (1) WO2016026402A2 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886606A (zh) * 2017-03-21 2017-06-23 联想(北京)有限公司 用于根据用户语音推荐表情的方法和系统
CN108388557A (zh) * 2018-02-06 2018-08-10 腾讯科技（深圳）有限公司 消息处理方法、装置、计算机设备和存储介质
CN108809817A (zh) * 2018-07-06 2018-11-13 上海博泰悦臻电子设备制造有限公司 车载即时聊天的车辆、车机设备、云服务器及通信方法
CN109857352A (zh) * 2017-11-30 2019-06-07 富泰华工业（深圳）有限公司 动画显示方法及人机交互装置
CN110111874A (zh) * 2019-04-18 2019-08-09 上海图菱新能源科技有限公司 人工智能情绪识别管理迁移互动程序和方法
CN111527496A (zh) * 2017-12-28 2020-08-11 脸谱公司 基于面部辨识生成个性化表情符号和嘴唇同步视频的系统和方法
CN112737919A (zh) * 2019-10-29 2021-04-30 上海连尚网络科技有限公司 即时消息的发送方法和装置
CN113050843A (zh) * 2019-12-27 2021-06-29 深圳富泰宏精密工业有限公司 情绪识别及管理方法、计算机程序及电子装置
US11057332B2 (en) 2018-03-15 2021-07-06 International Business Machines Corporation Augmented expression sticker control and management
US11288714B2 (en) * 2018-06-29 2022-03-29 Capital One Services, Llc Systems and methods for pre-communicating shoppers communication preferences to retailers

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
CN106055416B (zh) * 2016-05-23 2020-08-18 珠海市魅族科技有限公司 数据跨应用转移的方法和装置
US11580608B2 (en) 2016-06-12 2023-02-14 Apple Inc. Managing contact information for communication applications
US20180024726A1 (en) * 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
EP3525141B1 (en) * 2016-11-16 2021-03-24 Honda Motor Co., Ltd. Emotion inference device and emotion inference system
CN106657650B (zh) * 2016-12-26 2020-10-30 中船舰客教育科技(北京)有限公司 一种系统表情推荐方法、装置及终端
US10810211B2 (en) 2017-05-09 2020-10-20 International Business Machines Corporation Dynamic expression sticker management
US10521948B2 (en) 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
KR101961024B1 (ko) * 2017-08-03 2019-03-21 김남균 사진 인식을 이용한 정보제공시스템
CN108170292B (zh) * 2017-12-28 2021-07-06 Oppo广东移动通信有限公司 表情管理方法、表情管理装置及智能终端
CN108320316B (zh) * 2018-02-11 2022-03-04 秦皇岛中科鸿合信息科技有限公司 个性化表情包制作系统及方法
US10706271B2 (en) * 2018-04-04 2020-07-07 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
EP4139777A1 (en) 2020-06-08 2023-03-01 Apple Inc. Presenting avatars in three-dimensional environments
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11900506B2 (en) * 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163379A1 (en) * 2004-01-28 2005-07-28 Logitech Europe S.A. Use of multimedia data for emoticons in instant messaging
CN1893534A (zh) * 2005-07-08 2007-01-10 三星电子株式会社 在无线终端中控制图像的方法和设备
CN102780649A (zh) * 2012-07-21 2012-11-14 上海量明科技发展有限公司 在即时通信消息中加注即时图像的方法、客户端及系统
CN102890776A (zh) * 2011-07-21 2013-01-23 爱国者电子科技(天津)有限公司 通过面部表情调取表情图释的方法
US20140129650A1 (en) * 2012-11-05 2014-05-08 Brilliant Mobile, L.L.C. Media messaging methods, systems, and devices
CN103886632A (zh) * 2014-01-06 2014-06-25 宇龙计算机通信科技(深圳)有限公司 用户表情头像的生成方法及通信终端
CN103916536A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 用于移动终端中的用户界面方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4776433B2 (ja) * 2006-05-23 2011-09-21 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2010047336A1 (ja) * 2008-10-20 2012-03-22 株式会社キャメロット 画像撮影システム及び画像撮影方法
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses
JP2011192008A (ja) * 2010-03-15 2011-09-29 Zeta Bridge Corp 画像処理システムおよび画像処理方法
US8421823B2 (en) * 2011-03-09 2013-04-16 Sony Corporation Overlaying camera-derived viewer emotion indication on video display
KR20160013266A (ko) * 2011-04-11 2016-02-03 인텔 코포레이션 개인화된 광고 선택 시스템 및 방법
US20120304074A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Device user interface to input emoji and other symbols
KR20130065846A (ko) * 2011-12-02 2013-06-20 삼성전자주식회사 사용자 감정 공유 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163379A1 (en) * 2004-01-28 2005-07-28 Logitech Europe S.A. Use of multimedia data for emoticons in instant messaging
CN1893534A (zh) * 2005-07-08 2007-01-10 三星电子株式会社 在无线终端中控制图像的方法和设备
CN102890776A (zh) * 2011-07-21 2013-01-23 爱国者电子科技(天津)有限公司 通过面部表情调取表情图释的方法
CN102780649A (zh) * 2012-07-21 2012-11-14 上海量明科技发展有限公司 在即时通信消息中加注即时图像的方法、客户端及系统
US20140129650A1 (en) * 2012-11-05 2014-05-08 Brilliant Mobile, L.L.C. Media messaging methods, systems, and devices
CN103916536A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 用于移动终端中的用户界面方法和系统
CN103886632A (zh) * 2014-01-06 2014-06-25 宇龙计算机通信科技(深圳)有限公司 用户表情头像的生成方法及通信终端

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886606A (zh) * 2017-03-21 2017-06-23 联想(北京)有限公司 用于根据用户语音推荐表情的方法和系统
CN109857352A (zh) * 2017-11-30 2019-06-07 富泰华工业（深圳）有限公司 动画显示方法及人机交互装置
CN111527496A (zh) * 2017-12-28 2020-08-11 脸谱公司 基于面部辨识生成个性化表情符号和嘴唇同步视频的系统和方法
CN111527496B (zh) * 2017-12-28 2024-01-05 元平台公司 基于面部辨识生成个性化表情符号和嘴唇同步视频的系统和方法
CN108388557A (zh) * 2018-02-06 2018-08-10 腾讯科技（深圳）有限公司 消息处理方法、装置、计算机设备和存储介质
US11057332B2 (en) 2018-03-15 2021-07-06 International Business Machines Corporation Augmented expression sticker control and management
US11288714B2 (en) * 2018-06-29 2022-03-29 Capital One Services, Llc Systems and methods for pre-communicating shoppers communication preferences to retailers
CN108809817A (zh) * 2018-07-06 2018-11-13 上海博泰悦臻电子设备制造有限公司 车载即时聊天的车辆、车机设备、云服务器及通信方法
CN110111874A (zh) * 2019-04-18 2019-08-09 上海图菱新能源科技有限公司 人工智能情绪识别管理迁移互动程序和方法
CN112737919A (zh) * 2019-10-29 2021-04-30 上海连尚网络科技有限公司 即时消息的发送方法和装置
CN113050843A (zh) * 2019-12-27 2021-06-29 深圳富泰宏精密工业有限公司 情绪识别及管理方法、计算机程序及电子装置

Also Published As

Publication number Publication date
JP2017526074A (ja) 2017-09-07
EP3170150A2 (en) 2017-05-24
EP3170150A4 (en) 2017-07-26
WO2016026402A3 (en) 2016-05-12
US20160055370A1 (en) 2016-02-25
WO2016026402A2 (en) 2016-02-25
KR20170043588A (ko) 2017-04-21
CN106415664B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN106415664A (zh) 生成消息与社交网络应用的用户面部表情库的系统和方法
US11303590B2 (en) Suggested responses based on message stickers
KR102050334B1 (ko) 언어 모델을 사용한, 메시지들에서 수신되는 이미지들에 대한 자동적인 제안 응답들
US9794264B2 (en) Privacy controlled network media sharing
US12008318B2 (en) Automatic personalized story generation for visual media
US20170083586A1 (en) Integrated dynamic interface for expression-based retrieval of expressive media content
US11290439B1 (en) Multiple application list prioritization
US10873553B2 (en) System and method for triaging in a message system on send flow
US20190197315A1 (en) Automatic story generation for live media
CN110348419B (zh) 用于拍照的方法和装置
CN105824799B (zh) 一种信息处理方法、设备和终端设备
CN108182211A (zh) 视频舆情获取方法、装置、计算机设备及存储介质
US20140372541A1 (en) System and method for action-based input text messaging communication
US20220092071A1 (en) Integrated Dynamic Interface for Expression-Based Retrieval of Expressive Media Content
CN108170742A (zh) 图片舆情获取方法、装置、计算机设备及存储介质
US20160073257A1 (en) Console Display Terminal
CN107370661A (zh) 基于联系人列表的消息发送方法、装置及电子设备
CN109873756A (zh) 用于发送信息的方法和装置
US11010810B1 (en) Computerized system and method for automatically establishing a network connection for a real-time video conference between users
US20190205382A1 (en) Analyzing language units for personality
CN106209584B (zh) 基于互联网的用户信息处理方法、客户端及服务器
US11563709B2 (en) Messaging system of partial and out-of-order events
US10341129B2 (en) Method and system to provide the trending news stories to the plurality of groups based on the plurality of group members existing conversations
CN115989523A (zh) 车辆识别系统
US11233799B1 (en) Scan to login

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant