CN111587432A - 用于生成动画表情符号混搭的系统和方法 - Google Patents

用于生成动画表情符号混搭的系统和方法 Download PDF

Info

Publication number
CN111587432A
CN111587432A CN201880082446.XA CN201880082446A CN111587432A CN 111587432 A CN111587432 A CN 111587432A CN 201880082446 A CN201880082446 A CN 201880082446A CN 111587432 A CN111587432 A CN 111587432A
Authority
CN
China
Prior art keywords
emoticon
image
user input
input data
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880082446.XA
Other languages
English (en)
Inventor
提图斯·吴
郭卫廷
陆学光
文卡提什·考玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PayPal Inc
Original Assignee
PayPal Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/790,799 external-priority patent/US10593087B2/en
Application filed by PayPal Inc filed Critical PayPal Inc
Publication of CN111587432A publication Critical patent/CN111587432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]

Abstract

本公开的各方面涉及用于动画表情符号混搭生成的系统、方法、设备等。该系统和方法引入了一种方法和模型，其可以生成代表由用户在应用处接收到的情境信息的动画表情符号混搭。动画表情符号混搭可以采用表情符号与一个或多个图像一致组合的形式，以表示所传达的情境想法或情感。

Description

用于生成动画表情符号混搭的系统和方法
相关申请的交叉引用
本申请是于2017年12月27日递交的美国专利申请No.15/855,976的继续申请，该申请是于2017年10月23日递交的美国专利申请No.15/790,799的部分继续申请，这些申请的整体通过引用结合于此。
技术领域
本公开总体涉及用户设备通信，并且更具体地，涉及使用动画表情符号的用户设备通信。
背景技术
如今，随着设备的发展和普及，用户时常连接到作为交流手段的互联网和社交媒体。通常，用户在交流中通过使用表情符号来表达情感、想法、地点、事件等。表情符号通常可从正在使用的应用中选择，并且可以由用户选择。然而，在一些情况下，表情符号可响应于用户键入的词或一组词而出现。这些表情符号通常限于可用于应用的表情符号，和/或被应用标识的与表情符号相关的一个或多个词所约束。然而，这可能会导致呈现不正确的表情符号，因为该表情符号可能不适合这种情况。换句话说，所呈现的表情符号受到与该表情符号匹配的一个或多个词所约束。因此，由键入的句子所描述的情感或场合未被理解，用户只能代替地针对情感使用标签(sticker)或图像文件(gif)。因此，创建一种可以生成表情符号和/或表情符号与针对会话定制的其他数字数据的并置的系统将是有益的。
附图说明
图1示出了用户与用户设备进行通信的图形示图。
图2示出了使用表情符号混搭(mushup)的用户设备通信的图形示图。
图3示出了用于利用机器学习生成表情符号混搭的整个过程的系统的框图。
图4示出了展示示例性动画表情符号混搭的图形示图。
图5A-5B示出了用于生成动画表情符号混搭的训练过程的图形示图。
图6示出了用于生成动画表情符号混搭的运行时过程的图形示图。
图7示出了图示用于生成表情符号混搭的操作的流程图。
图8示出了用于利用机器学习来生成表情符号混搭的系统的框图。
图9示出了适于实现图1-8的通信系统的一个或多个设备的计算机系统的示例框图。
通过参考下面的具体实施方式来最佳地理解本公开的实施例及其优点。应理解，相同的附图标记用于标识在一个或多个附图中示出的相同的元件，而其中的图示是为了说明本公开的实施例，而不是为了限制本公开的实施例。
具体实施方式
在下面的描述中，阐述了一些具体细节，这些具体细节描述了与本公开一致的一些实施例。然而，对于本领域的技术人员将明显是，可以在没有一些或所有这些具体细节的情况下实现一些实施例。本文所公开的具体实施例意在说明而非限制。本领域的技术人员可以实现尽管在这里没有具体描述，但是也在本公开的范围和精神内的其他元素。此外，为避免不必要的重复，与一个实施例相关联地示出和描述的一个或多个特征可以结合到其他实施例中，除非另外具体说明，或者这一个或多个特征将使实施例不起作用。
本公开的各方面涉及用于动画表情符号混搭生成的系统、方法、设备等。该系统和方法引入了一种方法和模型，其可以生成代表由用户在应用处接收到的情境信息的动画表情符号混搭。动画表情符号混搭可以采用表情符号与一个或多个图像相干结合的形式，以表示所传达的情境想法或情感。
常规地，设备用户依赖于预定义的表情符号来表达情感、想法或地点。然而，通常用户可能受限于在应用上可用的那些表情符号。在一些情况下，可用表情符号响应于对用户输入/键入的一个或多个词的识别而被进一步限制和呈现。然而，所呈现的表情符号可能与情境无关，或者不能完全表达对话的情感。
作为示例，图1示出了用户104与用户设备102进行通信的图形示图100。具体地，图1示出了用户104与用户设备102上的应用106进行交互。用户设备102可以包括智能电话、平板电脑、计算机、膝上型计算机、可穿戴设备、平板电脑、虚拟现实系统等。用户设备102可通过一个或多个网络与一个或多个设备进行通信。在一些情况下，用户设备102可以包括与用于通过社交媒体的通信、与另一个体的通信、转移资金、处理交易等的应用的交互。如图所示，用户104可能正在用户设备102上与应用(例如，Venmo)进行交互。应用(例如，Venmo)106可以包括响应于检测到与所检测的词相关的(一个或多个)词(例如，晚餐)而呈现表情符号的应用。作为示例，图1示出了用户104与Venmo进行交互，并指示将响应于晚餐出行而向某人(例如，Robert Kuo)付款。在该消息中，用户感谢Robert的晚餐，并响应于检测到词晚餐108，已被标识为与词晚餐108相关的表情符号110出现。在该示例中，应用识别词晚餐108，并且作为响应，呈现银器和餐盘表情符号110。然而，如图所示，缺点是词到表情符号类型的匹配受到系统所具有的相关性以及可供选择的相应表情符号110的限制。
在一个实施例中，引入了一种系统和方法，该系统和方法能够利用机器学习来实现动画表情符号混搭。也就是说，引入了一种系统和方法，该系统和方法使得能够实现这样的能力：组合表情符号和另一相关的数字媒体来生成至少单个动画表情符号，该单个动画表情符号不是表示单个词或多个词，而是通信中涉及的句子和/或情境。
图2示出了使用表情符号混搭的用户设备通信的图形示图。具体地，图2示出了用于生成动画表情符号混搭的流程图200，动画表情符号混搭然后呈现在用户设备102上的应用106的用户界面上。
如上所述，当前使用的表情符号部分地基于在应用上可用的部分库以及基于预定义相关性的严格表情符号-词指定，存在很大限制。流程图200被示为可以在各种系统之间发生的示例性通信，这些系统使得能够生成与当时消息有关的情境信息更紧密地相关的动画表情符号混搭。
例如，如流程图200所示，可以使用可与包括社交网络208(例如，Twitter、Facebook)的外部网络210进行通信的表情符号存储库/系统202。这些网络可以传送并共享可由用户设备102在与另一用户的交互(例如，Venmo交易)期间使用的可用表情符号。该流程图还示出了坐标系统204，其可以与至少用户设备102和外部网络210进行通信。坐标系统204可以是这样的系统，其响应于在与另一用户的用户设备交互期间收集的情境信息，使用从用户设备102、社交网络208和其他外部网络210收集的表情符号细节来确定如何最佳地定位可能用于动画表情符号混搭212的两个或更多个表情符号或其他媒体，和/或从两个或更多个表情符号或其他媒体数据中提取坐标信息来确定如何最佳地相对于彼此放置表情符号。
协作、存储库、以及对智能算法的使用共同生成新表情符号混搭。来自用户输入的反馈也被用于学习和标识最佳匹配以及标识新表情符号混搭212。注意，动画表情符号混搭可以从一个或多个表情符号和/或其他媒体数据的组合生成。媒体数据可以包括图像、图像文件、标签、视频等，它们可以与一个或多个表情符号并置以传达在设备之间对话或交流的情境。
为了说明表情符号混搭212的想法，图2在用户设备102的显示器216上包括对话。作为示例，在显示器216上，用户104正与其他用户交流所参加的音乐会。其他用户对音乐会及其进展发表评论，而用户104回应以“同意？！伙计，Dan是要命的摇滚明星(IKR？！Dude,Danwas a friggin rock star)…”。作为对用户评论214的响应，响应于对话中的情境而建议的表情符号混搭214被呈现。
注意，与识别词“rock”或“star”并建议使用石头或星星的常规系统不同，这里建议了更相关的表情符号混搭214。例如，组合吉他和星星，组合摇滚(rock&roll)表情符号和星星，并示出Dan作为摇滚明星的形象。因此，表情符号混搭214以更全面的方式呈现表示想法和/或情感的表情符号。
转到图3，示出了用于生成动画表情符号混搭214的整个过程的更详细描述。具体地，图3示出了用于生成动画表情符号混搭的方法300的框图。方法300给出了可用于检索、分析和训练接收到的信息以建议动画表情符号混搭212的模型。方法300可以以首先分析由应用接收的文本302开始。如上所述，当前实施例的一个方面包括检索与接收到的情境信息紧密相关的混搭表情符号212。分析文本可以包括获取所发送的消息，并评估标识所发送的词的情境信息。另外，该信息还可以通过包括词向量化304的用于评估情境的系统和方法。词向量化304是一种使用包括神经网络和自然语言处理的计算智能来生成从词到实值向量的字典的方法。该过程包括将位图图像转换为向量表示以便为项赋予相应的数值，使得词的彼此之间的关系越接近，则词之间的数值就越接近。例如，可以使用语言模型将词向量化来找到类似含义，以提取词功能和结构。除了向量化之外，还可以使信息通过情感分析器，在该分析器中可以在分析中使用有关消息语气、目的和情境的线索。
在词被向量化之后，可以对词进行过滤306。经过滤的向量可以被转换为矩阵，这些矩阵可以用于以编程方式生成新表情符号308。所生成的新表情符号可以是从社交网络、系统存储库、其他网络等标识出的表情符号。除了标识可以映射到一个或多个表情符号或可以由一个或多个表情符号表示的文本之外，还可以使用图像文件、标签、视频等来表示文本交流的情感和内容。另外，文本交流中的视频或其他数字数据可以用表情符号来标识和更新，以辅助传达文本中呈现的情感和情境。因此，相关媒体被检索308，以与所标识的表情符号结合使用和/或用于将所标识的表情符号插入数字数据中。
一旦新表情符号和媒体被标识和检索，则将数据组合。组合表情符号和数字数据可以通过使用匹配(matchmaking)逻辑310进行。匹配逻辑可以包括坐标、图像识别系统以及机器学习算法，其可以用于学习和/或确定如何一致地组合数据312。例如，可以分析来自每组表情符号以及所检索或生成308的其他数据的坐标，以确定相应的中心并使用该数据确定如何最佳地组合。一旦一个或多个表情符号和其他数据被组合以生成动画表情符号混搭212，则表情符号可以被呈现给用户104以进行选择，并基于用户选择而被更新，以便存储最一致的组合314以供将来使用。
为了说明方法300，考虑用户104，其输入包括“伙计，你太厉害了(Dude,you’re onfire)！”对于这种输入，方法300可以使用词向量化和情感分析来确定交流包括积极情感，并且可以检索笑脸和火焰表情符号。另外，可以检索与正在进行通信的人相对应的“伙计”的图像。替代地，可以检索可与所标识的表情符号进行组合以创建动画表情符号混搭的标签、图片或其他数字媒体。一旦检索到这两个表情符号和/或数据，则可以使用匹配算法来确定如何相对于彼此缩放和放置表情符号。在一个实施例中，面部表情符号可以被突出放置在火焰表情符号的前面，火焰表情符号可以放置在面部的上部的后面。此外，刷新按钮可能可用，其可用于生成新动画表情符号混搭。因此，通过使用外部网络、用户反馈和系统用户群(例如，Paypal/Venmo用户群)，机器学习和神经网络可用于随着时间过去而生成新的、改进的表情符号混搭212。
确定如何合并数字数据和/或表情符号大部分是通过使用匹配逻辑。在一个实施例中，为确定如何合并表情符号，使用对象识别来确定图像(或图像文件、标签、(一个或多个)帧等)是什么以及最佳合并位置。例如，如果所标识的两个表情符号包括响应于“伙计，你太厉害了！”理解的笑脸和火，则使用对象识别来确定如何合并笑脸与火。为此，在一个实施例中，系统可以执行类似质心分析以确定对象的中心。在另一实施例中，系统可以识别对象(例如，笑脸和火图像)并提取其坐标。可以使用对象检测模型来检测对象。在一个示例中，可以从对象提取尺寸，而在其他示例中，可以将图像旋转确定的量，从而向图像提供深度并且可以提取坐标。在另一示例中，对象检测模型可以确定检索到的数字媒体的类型(例如，标签、视频)，并且基于检索到的数据确定如何使用各种映射机制和/或使用坐标信息来最佳地组合。然后可以将坐标提供给匹配逻辑，该匹配逻辑进而可以建议对检测到的数据(例如，笑脸和火表情符号)进行合并的各种方式。
图4示出了展示示例性动画表情符号混搭的图形示图400。图4示出了在文本通信期间捕获和交换的视频的场景。在该示例性示例中，场景402包括接近收银台以结账并完成交易的顾客。在该示例中，文本消息中的对话可能围绕结账过程，并且发生在收银台处与收银员之间。具体地，可能捕捉到这样的文本：收银员不是最友好的，并且是“急躁的(hothead)”。参考中间表情符号404，注意，动画表情符号混搭系统标识可以被放置以表达收银员的情绪的两个可能的表情符号。注意，表情符号可以是愤怒表情符号，和/或以前的表情符号混搭，该混搭包括在眼睛中带有火的笑脸，表示“急躁”。注意，火表情符号和笑脸表情符号可能先前已经呈现并存储以表示急躁，该表情符号是响应于可能已由机器学习系统从初始训练中确定的高数据点而生成的。还注意，在这种情况下，右侧的结果场景406包括在文本通信期间从视频、图片或其他媒体交换标识的(或检索的)原始场景，以及所标识的至少一个表情符号。结果场景使用对象检测模型来确定在何处放置表情符号，以及其他学习算法来基于文本通信标识表情符号的位置和最适当场景。
注意，在一些情况下，如图所示，最终的表情符号可以是由学习系统所建议的两个或更多个表情符号的组合的产物，而在其他情况下，表情符号可以是由初始标识的两个或更多个表情符号所定义的、新生成的表情符号。新生成的表情符号可以是位于内部或位于外部网络上的两个表情符号或先前定义的表情符号的合并。还注意，表情符号可从外部库、存储库、数据库等获得。
图5A-6提供了用于生成动画表情符号混搭的训练过程和运行时过程的图形示图。图5A-5B示出了动画表情符号混搭生成中的前期过程，其中，系统可以包括最少的用户反馈数据或不包括用户反馈数据，这些用户反馈数据可以辅助训练和定制表情符号和数字数据。图6示出了更成熟的过程，其中，系统不仅使用外部信息(例如，
Figure BDA0002547455160000071
馈送、谷歌库等)，而且还在运行时期间使用内部用户反馈来向用户104呈现动画表情符号混搭建议。
图5A-5B开始用于系统训练的过程，并且图5A示出了图像到表情符号放置中涉及的序列，而图5B示出了表情符号到图像放置。转到图5A，训练过程500开始于训练已被标识的图像(例如，以照片、视频、礼物等的形式)。在一个实施例中，图像可以从社交媒体馈送(例如，Twitter馈送、
Figure BDA0002547455160000081
发布等)中检索。在另一实施例中，图像可以通过文本通信期间的交换在本地获得和/或从图片库获得。图像预处理504可以包括确定哪些图像是相关的(如果是视频，则哪个帧是相关的)，并且在通信期间适当地进行标记以对应于内容。除了标记图像之外，还调整图像的大小以适合所使用的设备和用户界面。
在另一实施例中，代替或补充数字媒体的媒体训练502和图像预处理504，可以针对检索到的相应的表情符号进行媒体训练502和图像预处理。使得下一序列包括对象检测模型506，其中，基于第一和第二用户104之间的文本通信的情境来检测数字媒体。如前所述，为生成动画表情符号混搭，可以将其他表情符号、视频剪辑、图像文件、标签、图片等通过一致组合与所标识的表情符号结合使用。对象检测模型还可以使用算法和文本检测模块的组合来确定最佳对象拟合。一旦标识表情符号和序列两者以生成动画表情符号混搭，则接下来进行对象到表情符号映射508。映射的该部分包括确定如何将图像一致地添加到表情符号，随后进行坐标映射和空间表情符号放置510。
转到图5B，示出了训练过程的图形示图，该训练过程用于使用表情符号在图像上的叠加来生成动画表情符号混搭。注意，该过程与图5A非常相似。同样，在训练用于生成动画表情符号混搭的系统时，该过程中的主要组件包括训练在混搭中使用的图像。可以从社交媒体馈送、外部发布、本地用户设备102图片库等检索要训练的图像。例如，如果文本通信包括对所参加的音乐会的讨论，则动画表情符号系统可以从
Figure BDA0002547455160000082
发布检索视频，并在上面叠加表情符号。一旦确定所使用的正确图像，则将图像映射到情境和所传达的情感。此过程可类似于word2vec训练算法，其中，等待值(waited value)将词映射到表情符号或本例中的图像。在训练之后，可以再次对图像进行标记并调整大小以适合所使用的界面。
然后使用对象检测模型556，其中，基于第一和第二用户104之间的文本通信的情境来检测数字媒体。如前所述，为生成动画表情符号混搭，可以将其他表情符号、视频剪辑、图像文件、标签、图片等通过一致组合与所标识的表情符号结合使用。对象检测模型还可以使用算法和文本检测模块的组合来确定最佳对象拟合。在标识视频的情况下，可以选择适合会话的相应帧，并将其与表情符号结合使用，如图4所示。一旦表情符号和序列两者被标识以生成动画表情符号混搭，则接下来进行对象到表情符号映射558。映射的该部分包括确定如何将表情符号一致地添加到图像，然后进行坐标映射和空间表情符号放置510。表情符号在图像的叠加562完成动画表情符号混搭。该训练过程可以继续以便训练图像和/或表情符号以在运行时使用，以及开发更成熟的系统。
为了说明该过程在运行时如何操作，包括了图6。在图6中，示出了运行时过程600。如运行时过程600中所示，以接收用户输入602开始。用户输入602可以是短语、句子、缩写、文本等形式。在当前实施例中，用户收入可以是视频和/或图像文件。当在与一个或多个其他用户通信的应用216上时，用户输入将在用户设备102的显示器处接收。
在运行时过程650中，如同文本训练过程500和550，图像被处理并且被映射到文本通信的文本。替代地，可以使用word2vec、或适用于图像、图像文件、视频或其他数字数据的其他类似算法来对文本进行处理和转换。接下来，针对预训练对象检测模型606运行该信息，其然后可以输出与来自用户104的输入文本相关的图像。附加地或替代地，所获得的图像被接收602、处理604、并且针对预训练对象检测模型运行606。在预训练对象检测模型606之后，在针对每个帧评估表情符号坐标610之前，可以进行对象到表情符号映射608。一旦坐标数据已经被评估并且用于将图像和表情符号一致地组合以生成动画表情符号混搭，则该动画表情符号混搭可以被发送给用户UI 612以供用户选择。注意，在一些情况下，可以将两个或更多个混搭呈现给用户104，而在其他情况下，可能已经基于所提取的坐标642生成了多个动画表情符号混搭，并呈现给用户以供用户选择612。在用户104已经选择了优选图像到表情符号或表情符号到图像布置614之后，存储表情符号/图像对、表情符号叠加和/或表情符号混搭用户反馈616。随着系统获取更多的用户偏好和选择，然后可以使用用户反馈来生成下一动画表情符号混搭。
注意，所呈现的过程是出于示例性目的，并且可以预期其他过程、建模和训练。此外，如先前指出的，系统不限于使用对象检测模型，因为可以使用其他机器学习模型。
图7示出了可以在诸如图8和图1的系统800和设备102之类的系统中实现的用于生成动画表情符号混搭的示例过程。具体地，图7示出了流程图，该流程图示出了用于接收用户输入，并作为响应向用户呈现动画表情符号混搭建议，以表示在用户输入中传达的情感或想法的操作。根据一些实施例，过程700可以包括操作702-718中的一个或多个，这些操作可以至少部分地以存储在非暂态有形机器可读介质上的可执行代码的形式来实现，该可执行代码在一个或多个硬件处理器上运行时可使系统执行操作702-718中的一个或多个。
过程700可以以操作702开始，在操作702中，接收用户输入。用户输入可以是序列、声明、句子、短语或其他文本的形式。用户输入可以被输入到用于与另一用户进行交易、通信或交互的应用中。例如，用户输入可以在如Venmo的应用上，其中，用户可以使用有关所涉及交易的简短声明和/或表情符号向另一用户发送或请求付款。在一些情况下，用户输入可以包括文本、图像文件、视频、标签、或其他数字数据。
然后对接收到的用户输入进行分析，以标识(一个或多个)相关表情符号、图像、视频的帧、或可从社交媒体拆解以进行呈现的其他数据。为分析数据，在操作704处，可以处理输入。作为示例，如果输入了文本，则可以使用例如但不限于word2vec的模型来进行词向量化，其中，word2vec可以是可包括至少两个被训练来预测关系的模型的算法。替代地，可以对接收到的图像进行预处理，这可以包括确定哪些图像是相关的(如果是视频，则哪个帧是相关的)，并且在通信期间适当地标记以对应于内容。除了标记图像之外，还调整图像的大小以适合所使用的设备和用户界面。
在操作706处，确定定位模型是否可用。如果系统仍在开发中或者如果标识了新序列，则在操作708处，可以进一步使用对象检测模型来继续图像处理。对象检测模型可以是用于检测表情符号序列的模型和/或用以从输入提取的图像检测。换句话说，确定图像或文本是否已被预处理以及关于坐标、调整大小、标记等的细节是否已经存在，否则将使用对象检测模型进行处理。替代地，在操作710处，如果标识出所接收的输入和/或存在足够的用户反馈使得不需要图像训练，则在操作710处，可以通过表情符号定位模型来处理表情符号和图像，使得可以在操作712处提取坐标信息。一旦在操作712处知道坐标信息，则可以将所标识的两个或更多个表情符号和/或图像一致地组合以生成表示接收到的输入的动画表情符号混搭。(一个或多个)动画表情符号混搭可以在操作714处被一致地组合，其中，输出的(一个或多个)动画表情符号混搭可以被呈现给用户以供选择。
注意，在执行方法700时可以存在更多或更少的操作。此外，可能存在用于确定新表情符号或其他媒体对象混搭的操作。此外，操作不限于所标识的训练模型。此外，可以存储用户选择，以供用户和/或另一用户以后使用。
图8以框图格式示出了适于实现用于生成表情符号混搭的系统的计算环境的示例实施例。如图所示，计算环境800可以包括或实现根据所描述的实施例进行操作以执行各种方法的多个服务器和/或软件组件。服务器可以包括例如运行服务器操作系统(OS)(例如，
Figure BDA0002547455160000111
OS、
Figure BDA0002547455160000112
OS、
Figure BDA0002547455160000113
OS、或其他合适的基于服务器的OS)的独立和企业级服务器。可以理解，图2所示的服务器可以以其他方式部署，并且由这样的服务器执行的操作和/或提供的服务可以针对给定实施方式进行组合、分布、和/或分离，并且可以由更多数量或更少数量的服务器来执行。一个或多个服务器可以由相同或不同的实体来操作和/或维护。
计算环境800除各种设备外还可以包括服务器、数据库和其他元件、一个或多个客户端802，客户端802可以包括或采用一个或多个客户端设备804，例如、膝上型计算机、移动计算设备、平板电脑、PC、可穿戴设备、和/或具有根据所描述的实施例的计算和/或通信功能的任何其他计算设备。客户端设备804可以包括蜂窝电话、智能电话、电子可穿戴设备(例如，智能手表、虚拟现实耳机)、或用户可以随身携带或容易访问的其他类似移动的设备。
客户端设备804通常可以提供一个或多个客户端程序806，例如，系统程序和应用程序，以执行各种计算和/或通信操作。一些示例系统程序可以包括但不限于：操作系统(例如，
Figure BDA0002547455160000121
OS、
Figure BDA0002547455160000122
OS、
Figure BDA0002547455160000123
OS、Symbian OSTM、Embedix OS、无线二进制运行时环境(BREW)OS、JavaOS、无线应用协议(WAP)OS等)、设备驱动程序、编程工具、实用程序、软件库、应用程序编程接口(API)等。一些示例应用程序可以包括但不限于：网络浏览器应用、消息传递应用(例如，电子邮件、IM、SMS、MMS、电话、语音邮件、VoIP、视频消息传递、互联网中继聊天(IRC))、联系人应用、日历应用、电子文档应用、数据库应用、媒体应用(例如，音乐、视频、电视)、可以利用诸如天线之类的硬件组件的基于位置的服务(LBS)应用(例如，GPS、地图、方位、定位系统、地理位置、兴趣点、定位器)等。一个或多个客户端程序806可以显示各种图形用户界面(GUI)，以向客户端设备804的一个或多个用户呈现信息和/或从其接收信息。在一些实施例中，客户端程序806可以包括被配置为进行以上结合图1-7讨论的功能和/或过程中的一些或全部的一个或多个应用。
如图所示，客户端设备804可以经由一个或多个网络908通信地耦合到基于网络的系统810。基于网络的系统810可以被构造、布置、和/或配置为允许客户端802在基于网络的系统810与各种计算设备804和/或客户端程序806之间建立一个或多个通信会话。因此，客户端设备804与基于网络的系统810之间的通信会话可以涉及信息的单向和/或双向交换，并且可以根据通信模式在一种或多种类型的网络808上发生。尽管图8的实施例示出了以客户端-服务器操作关系部署的计算环境800，但应当理解，可以根据所描述的实施例使用其他合适的操作环境、关系和/或架构。
客户端设备804和基于网络的系统810之间的数据通信可以通过一个或多个网络808来发送和接收，例如，互联网、WAN、WWAN、WLAN、移动电话网络、陆地线电话网络、个域网、以及其他合适的网络。例如，客户端设备804可以通过经由与网站、电子邮件、IM会话、和/或视频消息传递会话的交互发送和/或接收信息，来通过互联网或其他合适的WAN与基于网络的系统810进行通信。如将容易理解的，可以在客户端设备804与系统810之间发生多种合适的通信类型中的任何一种。具体地，可以在客户端设备804与系统810之间发生任何合适形式的无线通信，例如，在移动电话或其他个人和/或移动设备的情况下经常发生的无线通信。
在各种实施例中，计算环境800除其他元件外还可以包括第三方812，第三方812可以包括或采用托管第三方应用816的第三方设备814。在各种实施方式中，第三方设备814和/或第三方应用816可以托管与第三方812相关联或由第三方812采用的应用。例如，第三方设备814和/或第三方应用816可以使得基于网络的系统810能够向客户端802和/或系统810提供附加服务和/或信息，例如，商户信息、数据通信、支付服务、安全功能、客户支持、和/或其他服务，下面将对其中一些进行详细讨论。第三方设备814和/或第三方应用816还可以向系统810和/或客户端802提供其他信息和/或服务，例如，电子邮件服务和/或信息、财产转让和/或处理、购买服务和/或信息、和/或其他在线服务和/或信息。
在一个实施例中，第三方设备814可以包括一个或多个服务器，例如，管理和存档交易的交易服务器。在一些实施例中，第三方设备可以包括购买数据库，该购买数据库可以提供关于对不同物品和/或产品的购买的信息。在又一实施例中，第三方服务器814可以包括用于聚集消费者数据、购买数据和其他统计数据的一个或多个服务器。
基于网络的系统810可以包括一个或多个通信服务器820以提供合适的接口，这些接口使得能够使用各种通信模式和/或经由一个或多个网络808进行通信。通信服务器820可以包括网络服务器(web server)822、API服务器824、和/或消息传递服务器826，以提供到一个或多个应用服务器830的接口。基于网络的系统810的应用服务器830可以被构造、布置和/或配置为向访问基于网络的系统810的用户提供各种在线服务、商户识别服务、商户信息服务、购买服务、货币转账、结账处理、数据收集、数据分析、以及其他服务。在各种实施例中，客户端设备804和/或第三方设备814可以经由下列项中一项或多项来与基于网络的系统810的应用服务器830进行通信：由网络服务器822提供的网络接口、由API服务器824提供的程序接口、和/或由消息传递服务器826提供的消息传递接口。可以理解，网络服务器822、API服务器824和消息传递服务器826可以被构造、布置和/或配置为与各种类型的客户端设备804、第三方设备914、第三方应用816、和/或客户端程序806进行通信，并且在一些实施方式中可以彼此互操作。
网络服务器822可以被布置为与网络客户端和/或应用进行通信，例如，网络浏览器、网络浏览器工具栏、桌面小部件、移动小部件、基于网络的应用、基于网络的解释器、虚拟机、移动应用等。API服务器824可以被布置为与包括基于网络的系统810的API的实施方式的各种客户端程序806和/或第三方应用816进行通信。消息传递服务器826可以被布置为与各种消息传递客户端和/或应用进行通信，例如，电子邮件、IM、SMS、MMS、电话、VoIP、视频消息传递、IRC等，并且消息传递服务器826可以提供消息传递接口，以使得客户端802和/或第三方812能够访问由应用服务器830提供的各种服务和功能。
基于网络的系统810的应用服务器830可以是向客户端提供各种服务的服务器，包括但不限于：数据分析、地理围栏管理、订单处理、结账处理等。基于网络的系统810的应用服务器830可以向第三方商家提供服务，例如，实时消费者度量可视化、实时购买信息等。应用服务器830可以包括账户服务器832、设备标识服务器834、支付服务器836、内容选择服务器838、简档合并服务器840、用户ID服务器842、反馈服务器844、和/或内容统计服务器846。注意，服务832-846中的任何一个或多个可用于存储和/或检索表情符号、用户反馈、坐标、表情符号定位等。例如，用户选择可以存储在反馈服务器844中。这些服务器(可以是其他服务器的补充)可以被构造和布置为配置系统来监测队列并标识减少队列时间的方式。
应用服务器830进一步可以耦合到一个或多个数据库850并且能够对其进行访问，包括简档数据库852、账户数据库854、地理围栏数据库856等。数据库850通常可以存储和维护各种类型的信息以供应用服务器830使用，并且可以包括根据所描述的实施例的各种类型的计算机存储设备(例如，服务器、存储器)和/或数据库结构(例如，关系型、面向对象的、层级的、空间的、网络的)或由其实现。
图10以框图格式示出了适于在图l-8中的系统的一个或多个设备上实现的示例计算机系统900。在各种实施方式中，包括计算机系统900的设备可以包括能够与网络926(例如，网络208、210)进行通信的个人计算设备(例如，智能或移动设备、计算平板电脑、个人计算机、膝上型计算机、可穿戴设备、PDA、用户设备102等)。服务提供商和/或内容提供商可以利用能够与网络进行通信的网络计算设备(例如，网络服务器)。应理解，用户、服务提供商和内容提供商所利用的每个设备可以通过以下方式被实现为计算机系统900。
此外，随着越来越多的设备具有通信能力，例如，使用无线通信来报告、跟踪、传递、中继信息等的新智能设备，这些设备可以是计算机系统900的一部分。例如，窗户、墙壁和其他对象可以兼作触摸屏设备以供用户进行交互。这样的设备可以与本文讨论的系统结合。
计算机系统900可以包括总线910或其他通信机制，用于在计算机系统900的各个组件之间传送信息数据、信号和信息。组件包括处理用户动作的输入/输出(I/O)组件904，例如，从小键盘/键盘选择键、选择一个或多个按钮、链接、可致动元件等，以及向总线910发送相应信号。I/O组件904还可以包括输出组件，例如，显示器902和光标控件908(例如，键盘、小键盘、鼠标、触摸屏等)。在一些示例中，I/O组件904经由网络与其他设备进行通信，例如，另一用户设备、商家服务器、电子邮件服务器、应用服务提供商、网络服务器、支付提供商服务器、和/或其他服务器。在各种实施例中，例如对于许多蜂窝电话和其他移动设备实施例，该传输可以是无线的，但其他传输介质和方法也可能是合适的。处理器918(可以是微控制器、数字信号处理器(DSP)或其他处理组件)处理这些各种信号，例如，用于在计算机系统900上显示或经由通信链路924通过网络926传输到其他设备。此外，在一些实施例中，通信链路924可以是无线通信。处理器918还可控制将诸如cookie、IP地址、图像等之类的信息传输到其他设备。
计算机系统900的组件还包括系统存储器组件912(例如，RAM)、静态存储组件914(例如，ROM)、和/或磁盘驱动器916。通过处理器918和其他组件执行包含在系统存储器组件912中的一个或多个指令序列，计算机系统900执行特定操作(例如，文本处理和表情符号处理)。逻辑可以被编码在计算机可读介质中，该计算机可读介质可以指参与向处理器918提供指令以供执行的任何介质。这样的介质可以采取许多形式，包括但不限于：非易失性介质、易失性介质、和/或传输介质。在各种实施方式中，非易失性介质包括光盘或磁盘，易失性介质包括动态存储器，例如，系统存储器组件912，并且传输介质包括同轴电缆、铜线和光纤，包括包含总线910的电线。在一个实施例中，逻辑被编码在非暂态机器可读介质中。在一个示例中，传输介质可以采取声波或光波的形式，例如，在无线电波、光学和红外数据通信期间产生的声波或光波。
计算机可读介质的一些常见形式包括例如硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒式磁带、或计算机可以从中读取的任何其他介质。
计算机系统900的组件还可以包括短距离通信接口920。在各种实施例中，短距离通信接口920可以包括收发器电路、天线和/或波导。短距离通信接口920可以使用一种或多种短距离无线通信技术、协议、和/或标准(例如，WiFi、
Figure BDA0002547455160000161
蓝牙低功耗(BLE)、红外、NFC等)。
在各种实施例中，短距离通信接口920可以被配置为用短距离通信技术检测计算机系统900附近的其他设备(例如，设备102、辅助用户设备等)。短距离通信接口920可以创建用于检测具有短距离通信能力的其他设备的通信区域。当具有短距离通信能力的其他设备被放置在短距离通信接口920的通信区域中时，短距离通信接口920可以检测其他设备并且与其他设备交换数据。当足够靠近时，短距离通信接口920可以从其他设备接收标识符数据分组。标识符数据分组可以包括一个或多个标识符，其可以是操作系统注册表项、与应用关联的cookie、与另一设备的硬件关联的标识符、和/或各种其他适当的标识符。
在一些实施例中，短距离通信接口920可以使用诸如WiFi之类的短距离通信协议来识别局域网，并加入局域网。在一些示例中，计算机系统900可以使用短距离通信接口920来发现作为局域网的一部分的其他设备和/或与之进行通信。在一些实施例中，短距离通信接口920可以进一步与和短距离通信接口920通信地耦合的其他设备交换数据和信息。
在本公开的各种实施例中，可以通过计算机系统900来执行指令序列以实践本公开。在本公开的各种其他实施例中，通过通信链路924耦合到网络(例如，LAN、WLAN、PTSN和/或各种其他有线或无线网络，包括电信、移动以及蜂窝电话网络)的多个计算机系统900可以相互协作地执行指令序列以实践本公开。本文描述的模块可以体现在一个或多个计算机可读介质中，或者与一个或多个处理器通信以执行或处理本文描述的技术和算法。
计算机系统可以通过通信链路924和通信接口来发送和接收消息、数据、信息和指令，包括一个或多个程序(即应用代码)。接收到的程序代码可以由处理器在接收时执行、和/或存储在磁盘驱动器组件或一些其他非易失性存储组件中以供执行。
在适当的情况下，可以使用硬件、软件、或硬件和软件的组合来实现本公开提供的各种实施例。此外，在适当的情况下，本文阐述的各种硬件组件和/或软件组件可以组合成包括软件、硬件、和/或两者的复合组件，而不脱离本公开的精神。在适当的情况下，本文阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件、或两者的子组件，而不脱离本公开的精神。此外，在适当的情况下，可以预期软件组件可被实现为硬件组件，反之亦然。
根据本公开的软件(例如，程序代码和/或数据)可以被存储在一个或多个计算机可读介质上。还预期可以使用一个或多个计算机和/或计算机系统联网地和/或以其他方式实现本文标识的软件。在适当的情况下，本文描述的各个步骤可以改变顺序、组合成复合步骤、和/或分成子步骤，以提供本文描述的特征。
前述公开内容并非旨在将本公开限制于所公开的精确形式或特定使用领域。如此，可以预期对本公开的各种替代实施例和/或修改根据本公开都是可能的，无论是否在本文中明确描述或暗示。例如，以上实施例已经集中于用户和用户设备，然而，可以以其他方式向客户、商家、服务或支付提供商呈现定制信息。因此，本文所使用的“用户”还可以包括慈善机构、个体、以及接收信息的任何其他实体或个人。因此，已经描述了本公开的实施例，本领域普通技术人员将认识到，可以在形式和细节上进行改变，而不脱离本公开的范围。因此，本公开仅由权利要求书限定。

Claims (20)

1.一种系统，包括：
非暂态存储器，存储指令；以及
处理器，被配置为执行指令以使得所述系统执行以下操作：
通过网络连接从用户设备接收用户输入数据；
使用第一学习模型分析所述用户输入数据，以确定所述用户输入数据中所包括的图像；
部分地基于所述用户输入数据来标识对象到表情符号映射；
使用第二学习模型处理表情符号和所述图像，以获得所述表情符号和所述图像的坐标信息；以及
使用所述坐标信息组合所述表情符号和所述图像，以生成动画表情符号混搭。
2.根据权利要求1所述的系统，其中，所述分析还包括：对所述用户输入数据中所包括的所述图像进行标记和调整大小。
3.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
通过所述网络连接将所述动画表情符号混搭发送到所述用户设备，其中，所述表情符号混搭与所述用户输入数据有关。
4.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
部分地基于所获得的坐标信息将所述图像在空间上放置在所述表情符号上。
5.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
部分地基于所获得的坐标信息将所述图像在空间上放置在所述表情符号上。
6.根据权利要求1所述的系统，执行指令还使得所述系统执行以下操作：
部分地基于所获得的坐标信息将所述表情符号在空间上叠加在所述图像上。
7.一种方法，包括：
通过网络连接从用户设备接收用户输入数据；
使用第一学习模型分析所述用户输入数据，以确定所述用户输入数据中所包括的图像；
部分地基于所述用户输入数据来标识对象到表情符号映射；
使用第二学习模型处理表情符号和所述图像，以获得所述表情符号和所述图像的坐标信息；以及
使用所述坐标信息组合所述表情符号和所述图像，以生成动画表情符号混搭。
8.根据权利要求7所述的方法，其中，所述分析还包括：对所述用户输入数据中所包括的所述图像进行标记和调整大小。
9.根据权利要求7所述的方法，还包括：
通过所述网络连接将所述动画表情符号混搭发送到所述用户设备，其中，所述表情符号混搭与所述用户输入数据有关。
10.根据权利要求7所述的方法，还包括：
部分地基于所获得的坐标信息将所述图像在空间上放置在所述表情符号上。
11.根据权利要求7所述的方法，还包括：
部分地基于所获得的坐标信息将所述表情符号在空间上放置在所述图像上。
12.根据权利要求7所述的方法，还包括：
部分地基于所获得的坐标信息将所述表情符号在空间上叠加在所述图像上。
13.根据权利要求7所述的方法，还包括：
通过所述网络连接接收关于使用所述坐标信息组合所述表情符号和所述图像的用户反馈数据；以及
存储所述用户反馈数据以供稍后呈现。
14.一种非暂态机器可读介质，在其上存储有机器可读指令，所述机器可读指令可执行以使得机器执行以下操作：
通过网络连接从用户设备接收用户输入数据；
使用第一学习模型分析所述用户输入数据，以确定所述用户输入数据中所包括的图像；
部分地基于所述用户输入数据来标识对象到表情符号映射；
使用第二学习模型处理表情符号和所述图像，以获得所述表情符号和所述图像的坐标信息；以及
使用所述坐标信息组合所述表情符号和所述图像，以生成动画表情符号混搭。
15.根据权利要求14所述的非暂态介质，其中，所述分析还包括：对所述用户输入数据中所包括的所述图像进行标记和调整大小。
16.根据权利要求14所述的非暂态介质，还包括：
通过所述网络连接将所述动画表情符号混搭发送到所述用户设备，其中，所述表情符号混搭与所述用户输入数据有关。
17.根据权利要求14所述的非暂态介质，还包括：
部分地基于所获得的坐标信息将所述图像在空间上放置在所述表情符号上。
18.根据权利要求14所述的非暂态介质，还包括：
部分地基于所获得的坐标信息将所述表情符号在空间上放置在所述图像上。
19.根据权利要求14所述的非暂态介质，还包括：
部分地基于所获得的坐标信息将所述表情符号在空间上叠加在所述图像上。
20.根据权利要求14所述的非暂态介质，还包括：
通过所述网络连接接收关于使用所述坐标信息组合所述表情符号和所述图像的用户反馈数据；以及
存储所述用户反馈数据以供稍后呈现。
CN201880082446.XA 2017-10-23 2018-10-23 用于生成动画表情符号混搭的系统和方法 Pending CN111587432A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/790,799 2017-10-23
US15/790,799 US10593087B2 (en) 2017-10-23 2017-10-23 System and method for generating emoji mashups with machine learning
US15/855,976 2017-12-27
US15/855,976 US11145103B2 (en) 2017-10-23 2017-12-27 System and method for generating animated emoji mashups
PCT/US2018/057164 WO2019084049A1 (en) 2017-10-23 2018-10-23 SYSTEM AND METHOD FOR GENERATING ANIMATED EMOTICONE COLLAGES

Publications (1)

Publication Number Publication Date
CN111587432A true CN111587432A (zh) 2020-08-25

Family

ID=66169455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082446.XA Pending CN111587432A (zh) 2017-10-23 2018-10-23 用于生成动画表情符号混搭的系统和方法

Country Status (5)

Country Link
US (1) US11145103B2 (zh)
EP (1) EP3701409A4 (zh)
CN (1) CN111587432A (zh)
AU (1) AU2018355236A1 (zh)
WO (1) WO2019084049A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115348225A (zh) * 2022-06-06 2022-11-15 钉钉(中国)信息技术有限公司 表情信息处理方法、电子设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200120053A1 (en) * 2018-10-12 2020-04-16 Farimehr Schlake Methods for conveying information through visual communications by automatically and/or autonomously generating, creating and/or using one or more visual communication unit(s) for visual portray of information
US20200117716A1 (en) * 2018-10-12 2020-04-16 Farimehr Schlake Methods for interpreting and extracting information conveyed through visual communications from one or more visual communication unit(s) into spoken and/or written and/or machine language
KR20190000683U (ko) * 2019-02-25 2019-03-15 최영락 탑재형 이모티콘
US11562510B2 (en) 2019-12-21 2023-01-24 Samsung Electronics Co., Ltd. Real-time context based emoticon generation system and method thereof
CN110943912A (zh) * 2019-12-30 2020-03-31 香港乐蜜有限公司 社交信息处理方法、装置和电子设备
US11194971B1 (en) 2020-03-05 2021-12-07 Alexander Dobranic Vision-based text sentiment analysis and recommendation system
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis
US20220269354A1 (en) * 2020-06-19 2022-08-25 Talent Unlimited Online Services Private Limited Artificial intelligence-based system and method for dynamically predicting and suggesting emojis for messages
US11044218B1 (en) * 2020-10-23 2021-06-22 Slack Technologies, Inc. Systems and methods for reacting to messages
CN112614212B (zh) * 2020-12-16 2022-05-17 上海交通大学 联合语气词特征的视音频驱动人脸动画实现方法及系统
CN113438150B (zh) * 2021-07-20 2022-11-08 网易（杭州）网络有限公司 一种表情发送方法和装置
EP4300409A1 (en) * 2021-08-26 2024-01-03 Samsung Electronics Co., Ltd. Method and device for generating emotional combination content
US11902231B2 (en) * 2022-02-14 2024-02-13 International Business Machines Corporation Dynamic display of images based on textual content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727472A (zh) * 2008-10-21 2010-06-09 联发科技股份有限公司 图像识别系统以及图像识别方法
CN104781759A (zh) * 2012-11-19 2015-07-15 雅虎公司 用于基于触摸的通信的系统和方法
CN104902212A (zh) * 2015-04-30 2015-09-09 努比亚技术有限公司 一种视频通信方法及装置
US20170140214A1 (en) * 2015-11-16 2017-05-18 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features
US20170185581A1 (en) * 2015-12-29 2017-06-29 Machine Zone, Inc. Systems and methods for suggesting emoji

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171084B2 (en) 2004-01-20 2012-05-01 Microsoft Corporation Custom emoticons
EP1771002B1 (en) 2005-09-30 2017-12-27 LG Electronics Inc. Mobile video communication terminal
US8620850B2 (en) 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
US10740438B2 (en) * 2012-08-16 2020-08-11 Ginger.io, Inc. Method and system for characterizing and/or treating poor sleep behavior
WO2015148733A2 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and methods for the real-time modification of videos and images within a social network format
CN104063427A (zh) * 2014-06-06 2014-09-24 北京搜狗科技发展有限公司 一种基于语义理解的表情输入方法和装置
US20160191958A1 (en) 2014-12-26 2016-06-30 Krush Technologies, Llc Systems and methods of providing contextual features for digital communication
US9230355B1 (en) 2014-08-21 2016-01-05 Glu Mobile Inc. Methods and systems for images with interactive filters
US10812429B2 (en) * 2015-04-03 2020-10-20 Glu Mobile Inc. Systems and methods for message communication
US20170018289A1 (en) * 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
US10445425B2 (en) * 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US20180314409A1 (en) * 2015-10-08 2018-11-01 Magnificus Software Inc. Method and system for creating and using emojis and other graphic content in instant messaging systems
US10084738B2 (en) * 2015-10-23 2018-09-25 Paypal, Inc. Emoji commanded action
US9652896B1 (en) * 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US10546015B2 (en) * 2015-12-01 2020-01-28 Facebook, Inc. Determining and utilizing contextual meaning of digital standardized image characters
US10846475B2 (en) * 2015-12-23 2020-11-24 Beijing Xinmei Hutong Technology Co., Ltd. Emoji input method and device thereof
US11494547B2 (en) * 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US20170344224A1 (en) * 2016-05-27 2017-11-30 Nuance Communications, Inc. Suggesting emojis to users for insertion into text-based messages
US10387571B2 (en) * 2016-07-20 2019-08-20 Vidicons LLC Networked device with suggested response to incoming message
US20180024726A1 (en) * 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
US9794202B1 (en) * 2016-08-25 2017-10-17 Amojee, Inc. Messaging including standard and custom characters
CN109952572B (zh) * 2016-09-20 2023-11-24 谷歌有限责任公司 基于消息贴纸的建议响应
US10438223B2 (en) * 2016-11-14 2019-10-08 Paypal, Inc. Dynamic emoji modal actions
US20180227256A1 (en) * 2017-02-09 2018-08-09 Len Wilson System, Method, and Apparatus for Electronic Messaging
US10558757B2 (en) * 2017-03-11 2020-02-11 International Business Machines Corporation Symbol management
US10318109B2 (en) * 2017-06-09 2019-06-11 Microsoft Technology Licensing, Llc Emoji suggester and adapted user interface
US10460499B2 (en) * 2017-09-27 2019-10-29 Whatsapp Inc. Animating digital graphics overlaid on visual media items based on dynamic attributes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727472A (zh) * 2008-10-21 2010-06-09 联发科技股份有限公司 图像识别系统以及图像识别方法
CN104781759A (zh) * 2012-11-19 2015-07-15 雅虎公司 用于基于触摸的通信的系统和方法
CN104902212A (zh) * 2015-04-30 2015-09-09 努比亚技术有限公司 一种视频通信方法及装置
US20170140214A1 (en) * 2015-11-16 2017-05-18 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features
US20170185581A1 (en) * 2015-12-29 2017-06-29 Machine Zone, Inc. Systems and methods for suggesting emoji

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115348225A (zh) * 2022-06-06 2022-11-15 钉钉(中国)信息技术有限公司 表情信息处理方法、电子设备及存储介质
CN115348225B (zh) * 2022-06-06 2023-11-07 钉钉(中国)信息技术有限公司 表情信息处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
US11145103B2 (en) 2021-10-12
EP3701409A1 (en) 2020-09-02
WO2019084049A1 (en) 2019-05-02
EP3701409A4 (en) 2021-07-21
AU2018355236A1 (en) 2020-05-14
US20190122412A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
US11423596B2 (en) System and method for generating emoji mashups with machine learning
US11145103B2 (en) System and method for generating animated emoji mashups
US20210383459A1 (en) System and Method for Creating and Analyzing A Low-Dimension Representation of Webpage Sequence
EP3889912B1 (en) Method and apparatus for generating video
US11423430B2 (en) Dynamic emoji modal actions
US11468618B2 (en) Animated expressive icon
US20200210990A1 (en) Intelligent display of location-specific graphics based on device metadata
US11900378B2 (en) System and method for providing merchant in-context checkout
US20220058493A1 (en) System and method for compact tree representation for machine learning
US10803504B2 (en) Method for generating by processor a second actionable item for execution by a data payload execution platform in order to complete processing of an action from a first actionable item
US11704524B2 (en) System and method for generating a dynamic machine readable code
US11301360B2 (en) System and method for using an unobtrusive and discrete embedded barcode for debugging
US10635427B2 (en) Forward compatibility process
US20220321581A1 (en) Optimally compressed feature representation deployment for automated refresh in event driven learning paradigms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination