CN114553810A - 表情图片合成方法及装置、电子设备 - Google Patents

Abstract

本公开提供一种表情图片合成方法及装置、电子设备。应用于即时通信，所述方法包括：确定多个图片的图片标签，所述图片标签与所述图片的内容相关；获取输入的消息内容，与所述多个图片的图片标签进行匹配；根据匹配结果，得到至少一个目标图片；将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。本公开可以提高消息传达的完整度和丰富度。

Description

表情图片合成方法及装置、电子设备

技术领域

本公开涉及图片处理技术领域，具体而言，涉及一种表情图片合成方法、表情图片合成装置、电子设备以及计算机可读存储介质。

背景技术

在即时通信中，已经开始广泛使用表情图片即表情包来生动有趣地表达消息发送者的内心意思。

在发送表情图片时，用户通常会挑选与自己的待表达内容相符合的表情图片。但是在目前的方案中，很难通过待表达内容匹配到与待表达内容完全符合的表情图片，且也无法对表情图片进一步调整。因此目前的方案，无法准确、完整的体现消息发送者的表达意图，同时表达的信息也不够丰富。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种表情图片合成方法、表情图片合成装置、电子设备以及计算机可读存储介质，进而至少在一定程度上提高通过表情图片表达意思时的准确度和丰富度。

根据本公开的一个方面，提供一种表情图片合成方法，应用于即时通信，所述方法包括：

确定多个图片的图片标签，所述图片标签与所述图片的内容相关；

获取输入的消息内容，与所述多个图片的图片标签进行匹配；

根据匹配结果，得到至少一个目标图片；

将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。

在本公开的一种示例性实施例中，所述确定多个图片的图片标签，包括：

对多个图片内的图片内容进行视觉识别并按照预设分类标准进行分类和/或将图片内的文字内容进行识别提取，通过分类结果和/或提取的文字内容确定所述多个图片的图片标签。

在本公开的一种示例性实施例中，所述确定多个图片的图片标签，包括：

获取图片的相关信息，将所述相关信息配置为图片标签，其中所述相关信息包括但不限于：上下文消息、图片的描述信息。

在本公开的一种示例性实施例中，在所述得到与所述消息内容对应的至少一个表情图片步骤之后，还包括：

根据所述至少一个表情图片，生成表情图片列表；

将所述表情图片列表与所述输入的消息内容关联显示。

在本公开的一种示例性实施例中，在所述将所述表情图片列表与所述输入的消息内容关联显示步骤之后，还包括：

响应于选择操作，在所述表情图片列表中确定选中的表情图片；

将所述选中的表情图片进行显示。

在本公开的一种示例性实施例中，在所述根据所述至少一个表情图片，生成表情图片列表步骤之后，还包括：

根据用于表情图片合成的目标图片的类别，将所述至少一个表情图片分类，其中，所述目标图片的类别由所述图片标签得到；

获取表情图片的分类结果，生成表情图片分类列表。

在本公开的一种示例性实施例中，所述将所述消息内容与所述至少一个目标图片合成，包括：

对所述图片进行视觉识别，以确定所述图片中主体内容的位置；

将所述图片中所述主体内容的位置之外的区域作为消息内容区域；

在所述消息内容区域中添加所述消息内容，以完成所述消息内容与所述图片的合成。

在本公开的一种示例性实施例中，所述在所述消息内容区域中添加所述消息内容，包括：

对所述消息内容进行关键词提取，确定各所述关键词的权重值；

将符合权重值条件的所述关键词进行突出显示。

在本公开的一种示例性实施例中，所述在所述消息内容区域中添加所述消息内容，包括：

根据所述消息内容区域的灰度数据，确定所述消息内容的显示颜色；

根据所述消息内容区域的形状以及所述消息内容的字符数量，确定所述消息的排版布局。

根据本公开的一个方面，提供一种表情图片合成装置，所述装置包括：

图片标签确定模块，用于确定多个图片的图片标签，所述图片标签与所述图片的内容相关；

标签内容匹配模块，用于获取输入的消息内容，与所述多个图片的图片标签进行匹配；

目标图片确定模块，用于根据匹配结果，得到至少一个目标图片；

表情图片合成模块，用于将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。

在本公开的一种示例性实施例中，图片标签确定模块，用于对多个图片内的图片内容进行视觉识别并按照预设分类标准进行分类和/或将图片内的文字内容进行识别提取，通过分类结果和/或提取的文字内容确定所述多个图片的图片标签。

在本公开的一种示例性实施例中，图片标签确定模块，用于获取图片的相关信息，将所述相关信息配置为图片标签，其中所述相关信息包括但不限于：上下文消息、图片的描述信息。

在本公开的一种示例性实施例中，所述装置还包括：

表情图片列表模块，用于在所述得到与所述消息内容对应的至少一个表情图片步骤之后，根据所述至少一个表情图片，生成表情图片列表；

将所述表情图片列表与所述输入的消息内容关联显示。

在本公开的一种示例性实施例中，所述装置还包括：

表情图片上屏模块，用于在所述将所述表情图片列表与所述输入的消息内容关联显示步骤之后，响应于选择操作，在所述表情图片列表中确定选中的表情图片；

将所述选中的表情图片进行显示。

在本公开的一种示例性实施例中，所述装置还包括：

表情图片分类模块，用于在所述根据所述至少一个表情图片，生成表情图片列表步骤之后，根据用于表情图片合成的目标图片的类别，将所述至少一个表情图片分类，其中，所述目标图片的类别由所述图片标签得到；

获取表情图片的分类结果，生成表情图片分类列表。

在本公开的一种示例性实施例中，表情图片合成模块，用于对所述图片进行视觉识别，以确定所述图片中主体内容的位置；

将所述图片中所述主体内容的位置之外的区域作为消息内容区域；

在所述消息内容区域中添加所述消息内容，以完成所述消息内容与所述图片的合成。

在本公开的一种示例性实施例中，表情图片合成模块，用于对所述消息内容进行关键词提取，确定各所述关键词的权重值；

将符合权重值条件的所述关键词进行突出显示。

在本公开的一种示例性实施例中，表情图片合成模块，用于根据所述消息内容区域的灰度数据，确定所述消息内容的显示颜色；

根据所述消息内容区域的形状以及所述消息内容的字符数量，确定所述消息的排版布局。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

本公开示例性实施例可以具有以下部分或全部有益效果：

在公开示例实施方式所提供的表情图片合成方法中，可以将消息内容和已确定图片标签的图片进行匹配，将得到目标图片与消息内容合成。一方面，合成后的表情图片能够同时包括原图片和消息内容，使得表情图片能够传达更多的信息，内容更加丰富；另一方面，由于将消息发送者待发送的消息直接合成到图片中，能够使消息发送者的意思被完整、准确的传达，令信息传达正确度更高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的一种表情图片合成方法及装置的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；

图3示意性示出了根据本公开的一个实施例的表情图片合成方法的流程图；

图4示意性示出了根据本公开的一个实施例中表情图片列表和消息内容关联显示的界面示意图；

图5示意性示出了根据本公开的一个实施例中表情图片分类的界面示意图；

图6示意性示出了根据本公开的一个实施例的表情图片合成装置的框架结构图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种表情图片生成方法及表情图片生成装置的示例性终端设备的示意图。

如图1所示，终端设备可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。多个用户可以通过终端设备101、102、103上的即时通信客户端进行交流。

图2示出了适于用来实现本公开实施例的终端设备的计算机系统的结构示意图。

需要说明的是，图2示出的终端设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在(RAM)203中，还存储有系统操作所需的各种程序和数据。(CPU)201、(ROM)202以及(RAM)203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。

以下部件连接至(I/O)接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至(I/O)接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本公开的方法和装置中限定的各种功能。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

本示例实施方式提供了一种表情图片生成方法，参考图3所示，可以包括以下步骤S310至步骤S340，具体地：

步骤S310、确定多个图片的图片标签，所述图片标签与所述图片的内容相关。

步骤S320、获取输入的消息内容，与所述多个图片的图片标签进行匹配。

步骤S330、根据匹配结果，得到至少一个目标图片。

步骤S340、将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。

实施图3所示的表情图片生成方法，可以将消息内容和已确定图片标签的图片进行匹配，将得到目标图片与消息内容合成。一方面，合成后的表情图片能够同时包括原图片和消息内容，使得表情图片能够传达更多的信息，内容更加丰富；另一方面，由于将消息发送者待发送的消息直接合成到图片中，能够使消息发送者的意思被完整、准确的传达，令信息传达正确度更高。

下面，对于本示例实施方式的上述步骤进行更加详细的说明。

在步骤S310中，确定多个图片的图片标签，所述图片标签与所述图片的内容相关。

在本公开实施例中，图片标签与所述图片的内容相关，用于描述图片的特点，是图片的代表性特征。图片标签可以是多种类型，例如可以是图片颜色、图片所包含对象的种类或数量、图片上的文字种类、图片内的场景、行为等等。

一个图片可以同时具有一个或多个图片标签，例如可以是一张灰色的、动物相关的图片。图片标签可以在即时通信的服务器或终端进行配置，可以通过以下方式进行配置：

[{

'pic':'图片链接',

'dec':['图片标签1','图片标签2']

},{

'pic':'图片链接',

'dec':['图片标签1','图片标签2']

}]

在步骤S320中，获取输入的消息内容，与所述多个图片的图片标签进行匹配。

在本公开实施例中，消息内容可以文字、视觉情感符号(emoji)等等。获取消息内容可以是在用户使用输入法时，通过输入法客户端获取用户正在输入的字符串即消息内容。字符串的输入可以通过多种方式，如通过键盘、触摸屏、手写板等进行输入。也可以是语音输入，可以通过深度神经网络模型、隐马尔科夫模型、高斯混合模型中的一种或多种模型，对语音进行识别，获取消息内容。例如，可以通过隐马尔科夫模型对音频数据的时序信息进行建模，在给定隐马尔科夫模型的一个状态后，通过最大期望值算法等方法基于高斯混合模型对属于该状态的语音特征向量的概率分布进行建模；在建模成功之后，则可以进行语音识别，获取对应的消息内容。

在与图片标签进行匹配时，可以是通过关键词匹配。可选的，通过输入法客户端对输入的消息内容进行切分、转换和识别等处理获取。可以根据条件随机场理论，综合考虑分词在消息内容中出现的频率以及分词的上下文关系对消息内容进行分词，当然也可以采用其他的分词方法。消息内容可以切分为名词、动词、形容词、副词、介词等等，可以对消息内容进行去噪，进而将助词和介词等对消息内容整体意思没有较大影响的部分删除。

匹配时可以采用关键词词频算法、基于空间向量的余弦算法等等。举例而言，可以从消息内容和图片标签中各取出若干个关键词，合并成一个集合。计算消息内容和图片标签对于这个集合中的词的词频，其中，为了避免文本长度的差异，可以使用相对词频，生成两者各自的词频向量。计算两个向量的余弦相似度，值越大就表示越相似。本公开实施例在此不限制如何对消息内容和图片标签进行匹配。

在步骤S330中，根据匹配结果，得到至少一个目标图片。

匹配结果可以是直接将部分图片作为成功匹配的图片，也可以只是得到图片与消息文本之间的相似度。例如将消息内容和图片标签的相似度达到百分之七十的图片作为目标图片，不满足相似度条件则不作为目标图片。也可以是获取所有图片标签的相似度，根据相似度图片标签对应的图片进行排序，选取排序靠前的预设数量个图片作为目标图片。

可以理解的是，由于图片中可能存在多个图片标签，每个标签与消息内容的相似度可能不一样。在得到匹配结果的过程中，可以将一个图片的多个图片标签相应的相似度叠加，也可以是在多个标签与消息内容的相似度中选取一个相似度最高的图片标签作为该图片的匹配结果。本公开实施例在此不做限制。

在步骤S340中，将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。

在本公开实施例中，可以在目标图片上确定一个文本框，将消息内容显示在文本框内。消息内容合成到图片上，可以是将消息内容横向设置或纵向设置，或根据消息内容的关键词位置将消息内容分行显示。

本公开还提出一种表情图片生成方法的实现方式。所述确定多个图片的图片标签，包括：

对多个图片内的图片内容进行视觉识别并按照预设分类标准进行分类和/或将图片内的文字内容进行识别提取，通过分类结果和/或提取的文字内容确定所述多个图片的图片标签。

在本公开实施例中，预设分类标准可以是按照通用概念来确定，例如区分为动物、植物或人，例如图片处于户外运动场景或是室内场景，还可以是季节的区分等等。本公开实施例在此不做限制。

对图片进行分类，可以是通过最小距离分类法、多级切割分类法、特征曲线窗口法、动态聚类法等图像分类算法。具体的，可以先对图片的关键性特征提取，然后采用相似度匹配，来对输入图片进行分类，进一步的，也可以训练分类器来进行分类。

在文字提取中，可以先将图片适度缩放和裁剪；然后进行图像灰度化和滤波处理；进行边缘查找，确定阈值上限和下限，像素的梯度大于上限，则被认为是边缘像素，如果低于下限则被抛弃，如果介于两者之间，只有当其与高于上限阈值的像素连接时才会被接受；边缘查找后得到的图像是二值化图像或阈化图像，即图像中只存在黑色与白色两种颜色，计算像素连通域；根据字符串具有趋于横向等距排列，字符大小大致相等的特性，对散布的字符单元进行横向兼并运算，根据兼并结果内字符单元集合逐个截取文字图像。

通过图片分类和文本提取之一的方法来确定图片标签，或是通过两者同时确定多个标签。本公开实施例在此不做限制。

本公开还提出一种表情图片生成方法的实现方式。所述确定多个图片的图片标签，包括：

获取图片的相关信息，将所述相关信息配置为图片标签，其中所述相关信息包括但不限于：上下文消息、图片的描述信息。

上下文消息可以是在即时通信客户端的消息界面获取的，可以获取在表情图片发送之前，消息界面内的预设数量的消息。举例而言，获取到表情图片发送之前，有两条消息分别是“今天天气很好，很清爽，令人愉悦”、“今天收到一束花，美滋滋”。那么可以对消息进行关键提取，提取包括“清爽”、“愉悦”、“花”和“美滋滋”，从而将这些关键词都配置为图片的标签。

图片的描述信息可以是直接由用户输入的，在即时通信应用中为用户提供配置接口。用户选择上传特定图片到即时通信客户端，同时对图片进行个人的备注，直接将备注信息配置为上传图片的标签。图片的相关信息还可以是其他信息，本公开实施例在此不做限制。

本公开还提出一种表情图片生成方法的实现方式。在所述得到与所述消息内容对应的至少一个表情图片步骤之后，还包括：

根据所述至少一个表情图片，生成表情图片列表。

将所述表情图片列表与所述输入的消息内容关联显示。

在表情图片较多时，可以将表情图片以列表的形式进行显示，以对表情图片预览或是推荐。在表情图片列表中，可以按照不同的规则对列表内的表情图片排序。例如可以是按照用于表情图片合成的图片标签与消息内容的相似度来排序；还可以是根据用户的表情图片使用的记录来排序，将使用过的表情图片赋予较大的优先级，将使用次数较多的表情图片赋予较大的优先级等等规则。

将所述表情图片列表与所述输入的消息内容关联显示，可以是将列表贴近显示在消息内容的右上方或正上方，如图4所示，表情图片列表401显示在输入框内的消息内容402的正上方。还可以是将表情图片列表缩小为一个示意性的图标，用户点击图标可以打开完整的表情图片列表。本公开实施例在此不具体限制如何关联显示表情图片列表和消息内容。

实施本公开的实施例，通过根据至少一个表情图片生成相应的表情图片列表并将图片列表关联显示在消息内容旁。可以使得用户在查看与消息内容对应的表情图片时更加方便。

本公开还提出一种表情图片生成方法的实现方式。在所述将所述表情图片列表与所述输入的消息内容关联显示步骤之后，还包括：

响应于选择操作，在所述表情图片列表中确定选中的表情图片；

将所述选中的表情图片进行显示。

在本公开实施例中，响应于选择操作，接收到操作指令，选择操作用于确定选择表情图片，选择操作可以是点击操作、上滑操作或是其他操作。可以理解的是，如果表情图片较小，用户无法完整或清晰的查看表情图片，那么在将表情图片进行显示之前，可以先根据另外的查看操作将表情图片放大显示，例如可以响应于长按操作放大表情图片。

表情图片在聊天界面上的显示方式，可以是作为用户的一个聊天消息与其他聊天消息一起显示；也可以是以弹泡的形式在即时通信客户端的界面上短暂显示，例如只显示五秒；也可以是响应于用户的拖动操作，将表情图片拖放到聊天界面的特定位置显示。本公开实施例在此不限制表情图片如何进行显示。

实施本公开的实施例，能够响应于选择操作，在表情图片列表中确定选中的表情图片，将选中的表情图片显示在聊天界面上。使得用户可以快捷的将想要的表情图片进行发送，提高了表情图片发送的效率。

本公开还提出一种表情图片生成方法的实现方式。在所述根据所述至少一个表情图片，生成表情图片列表步骤之后，还包括：

根据用于表情图片合成的目标图片的类别，将所述至少一个表情图片分类，其中，所述目标图片的类别由所述图片标签得到；

获取所述表情图片的分类结果，生成表情图片分类列表。

在本公开实施例中，由于表情图片都是由同一个消息内容与不同的目标图片合成的，因此在分类时可以目标图片作为分类基础，对表情图片进行分类。在分类中，具有多个图片标签的目标图片可以根据多个不同的标签得到多个不同的分类，一个表情图片可以存在于多个类别。举例而言，用于合成表情图片的目标图片有标签“树木”和“户外”，则该表情图片可以位于“植物”、“户外”类别。

可以理解的是，并非必须根据所有标签来得到与全部标签对应的多个分类，分类类别可以是预设的有限数量个分类。例如，只设置“搞笑”、“户外”、“动物”三个分类或更多分类，在分类时只需要判断表情图片是否属于这三个分类或更多分类。

将表情分类后，生成表情图片分类列表。表情图片分类列表可以是在原表情图片列表的基础上添加分类接口，例如将不同的类型标识显示在原表情图片列表的上方，通过选中某个类型，则可以更新表情图片列表内显示的表情图片仅为选中的类型；再次选中其他类型，继续更新显示选中类型的表情图片。如图5所示，在即时通信客户端的显示界面上，有表情图片分类列表，包括表情图片类型501、表情图片类型502和表情图片类型503。

实施本公开的实施例，可以通过将表情图片分类，生成生成表情图片分类列表。使得表情图片列表可以向用户更加清晰的传达表情图片相关的信息，同时提高用户选取表情图片的效率。

本公开还提出一种表情图片生成方法的实现方式。所述将所述消息内容与所述至少一个目标图片合成，包括：

对所述图片进行视觉识别，以确定所述图片中主体内容的位置；

将所述图片中所述主体内容的位置之外的区域作为消息内容区域；

在所述消息内容区域中添加所述消息内容，以完成所述消息内容与所述图片的合成。

在本公开实施例中，图片中的主体内容可以是包含人体、人脸、车辆、动物等等。举例而言，在识别人脸中，可以从图片中提取人脸特征点，进而根据人脸特征点所在位置确定人脸在图片中的位置；人脸特征点是指可以用于体现出人脸的轮廓以及纹理特征的一些像素点。可以采用如主动形状模型(Active Shape Model，简称ASM)特征提取算法、级联姿势回归(Cascaded Pose Regression，简称CPR)特征提取算法或者基于深度学习的方法提取图片中的人脸特征点。在识别主体内容时，也可以对图片进行前景分析，将前景图像中的对象作为主体内容，本示例性实施例中对此不做特殊限定。

在获取主体内容的位置后，为了在文字与目标图片合成时不产生相互干扰问题，将主体内容的位置之外的区域作为消息内容合成的位置。每个目标图片可能都存在不同的适合消息内容合成的位置，即消息内容区域不同。因此需要对每张图片都进行识别，判断合适的消息内容区域。

本公开还提出一种表情图片生成方法的实现方式。所述在所述消息内容区域中添加所述消息内容，包括：

对所述消息内容进行关键词提取，确定各所述关键词的权重值；

将符合权重值条件的所述关键词进行突出显示。

在本公开实施例中，关键词提取还可以通过TextRank算法、Rake算法及Topic-Mode1算法等其他方式对消息内容进行关键词提取，在此不再赘述。

确定一个或多个关键词的权重值后，判断是否符合权重值条件。权重值条件可以根据使用情况进行配置，例如可以是将获取到的多个关键词的权重值进行排序，选取排序靠前的预设数量个或排序靠前的预设百分比数量的关键词，将关键词突出显示；也可以是设置权重值阈值条件，达到阈值条件则可突出显示。

在本公开实施例中突出显示，可以是字体的颜色、大小、粗细等方式的突出显示，可以是下划线、高亮、画圈等突出显示，本公开实施例在此不做特殊限制。

实施本公开的实施例，通过对消息内容进行关键词提取，确定各关键词的权重值；将符合权重值条件的关键词进行突出显示。能够使得消息内容的显示更加重点突出，用户可直观地查看到重点信息，提高了信息传达的效率；另一方面，当关键词是一些特殊词汇例如情绪相关词汇，可以额外的表达更多清晰，增加了消息内容的信息丰富度。

本公开还提出一种表情图片生成方法的实现方式。所述在所述消息内容区域中添加所述消息内容，包括：

根据所述消息内容区域的灰度数据，确定所述消息内容的显示颜色；

根据所述消息内容区域的形状以及所述消息内容的字符数量，确定所述消息的排版布局。

在本公开实施例中，可以先将图片转换为灰度图像。可以采用平均法，将图片中同一个像素位置3个通道RGB的值进行平均，其中RGB为红(Red)、绿(Green)和蓝(Blue)三个通道的颜色；可以是最大最小平均法，取同一个像素位置的RGB中亮度最大的和最小的进行平均。本公开实施例在此不限制灰度转换的方式。

在灰度图像的基础上，计算像素灰度值离散程度数据作为灰度数据，可以通过像素灰度值绝对离差D表征其像素灰度值离散程度，具体公式如下：

n表示消息内容区域中像素的数量，表示消息内容区域中所有像素灰度值的均值；表示消息内容区域中第i个像素的灰度值。另外也可以通过平均绝对离差、均方差表达其像素灰度值离散程度。根据灰度数据颜色，例如可以是选取白色、灰色或是黑色，以使得消息内容合成后能够清晰的显示。

根据消息内容区域的形状以及消息内容的字符数量，确定消息的排版布局时，可以根据横向最大长度是否大于纵向最大长度来判断消息内容适合横版或是竖版显示；根据消息内容区域的形状大小，消息内容文本的字符数量来确定消息内容的字体显示大小。

实施本公开的实施例，可以根据目标图片的具体图像特征来适应性的显示消息内容。使得消息内容在图片上的显示更加合理，提高表情图片的美观度。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中，还提供了一种表情图片生成装置600。参考图6所示，该装置600包括：

图片标签确定模块601，用于确定多个图片的图片标签，所述图片标签与所述图片的内容相关；

标签内容匹配模块602，用于获取输入的消息内容，与所述多个图片的图片标签进行匹配；

目标图片确定模块603，用于根据匹配结果，得到至少一个目标图片；

表情图片合成模块604，用于将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。

在本公开的一种示例性实施例中，图片标签确定模块601，用于对多个图片内的图片内容进行视觉识别并按照预设分类标准进行分类和/或将图片内的文字内容进行识别提取，通过分类结果和/或提取的文字内容确定所述多个图片的图片标签。

在本公开的一种示例性实施例中，图片标签确定模块601，用于获取图片的相关信息，将所述相关信息配置为图片标签，其中所述相关信息包括但不限于：上下文消息、图片的描述信息。

在本公开的一种示例性实施例中，所述装置600还包括：

表情图片列表模块，用于在所述得到与所述消息内容对应的至少一个表情图片步骤之后，根据所述至少一个表情图片，生成表情图片列表；

将所述表情图片列表与所述输入的消息内容关联显示。

在本公开的一种示例性实施例中，所述装置600还包括：

表情图片上屏模块，用于在所述将所述表情图片列表与所述输入的消息内容关联显示步骤之后，响应于选择操作，在所述表情图片列表中确定选中的表情图片；

将所述选中的表情图片进行显示。

在本公开的一种示例性实施例中，所述装置600还包括：

表情图片分类模块，用于在所述根据所述至少一个表情图片，生成表情图片列表步骤之后，根据用于表情图片合成的目标图片的类别，将所述至少一个表情图片分类，其中，所述目标图片的类别由所述图片标签得到；

获取表情图片的分类结果，生成表情图片分类列表。

在本公开的一种示例性实施例中，表情图片合成模块604，用于对所述图片进行视觉识别，以确定所述图片中主体内容的位置；

将所述图片中所述主体内容的位置之外的区域作为消息内容区域；

在所述消息内容区域中添加所述消息内容，以完成所述消息内容与所述图片的合成。

在本公开的一种示例性实施例中，表情图片合成模块604，用于对所述消息内容进行关键词提取，确定各所述关键词的权重值；

将符合权重值条件的所述关键词进行突出显示。

在本公开的一种示例性实施例中，表情图片合成模块604，用于根据所述消息内容区域的灰度数据，确定所述消息内容的显示颜色；

根据所述消息内容区域的形状以及所述消息内容的字符数量，确定所述消息的排版布局。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

由于本公开的示例实施例的游戏中可变攻击的装置的各个功能模块与上述游戏中可变攻击的方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节和效果，请参照本公开上述的游戏中可变攻击的方法的实施例。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。

在本公开所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。

上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种表情图片生成方法，其特征在于，应用于即时通信，所述方法包括：

确定多个图片的图片标签，所述图片标签与所述图片的内容相关；

获取输入的消息内容，与所述多个图片的图片标签进行匹配；

根据匹配结果，得到至少一个目标图片；

将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。

2.根据权利要求1所述的方法，其特征在于，所述确定多个图片的图片标签，包括：

对多个图片内的图片内容进行视觉识别并按照预设分类标准进行分类和/或将所述图片内的文字内容进行识别提取，通过分类结果和/或提取的文字内容确定所述多个图片的图片标签。

3.根据权利要求1所述的方法，其特征在于，所述确定多个图片的图片标签，包括：

获取图片的相关信息，将所述相关信息配置为图片标签，其中所述相关信息包括但不限于：上下文消息、图片的描述信息。

4.根据权利要求1所述的方法，其特征在于，在所述得到与所述消息内容对应的至少一个表情图片步骤之后，还包括：

根据所述至少一个表情图片，生成表情图片列表；

将所述表情图片列表与所述输入的消息内容关联显示。

5.根据权利要求4所述的方法，其特征在于，在所述将所述表情图片列表与所述输入的消息内容关联显示步骤之后，还包括：

响应于选择操作，在所述表情图片列表中确定选中的表情图片；

将所述选中的表情图片进行显示。

6.根据权利要求4所述的方法，其特征在于，在所述根据所述至少一个表情图片，生成表情图片列表步骤之后，还包括：

根据用于所述表情图片合成的所述目标图片的类别，将所述至少一个表情图片分类，其中，所述目标图片的类别由所述图片标签得到；

获取所述表情图片的分类结果，生成表情图片分类列表。

7.根据权利要求1所述的方法，其特征在于，所述将所述消息内容与所述至少一个目标图片合成，包括：

对所述图片进行视觉识别，以确定所述图片中主体内容的位置；

将所述图片中所述主体内容的位置之外的区域作为消息内容区域；

在所述消息内容区域中添加所述消息内容，以完成所述消息内容与所述图片的合成。

8.根据权利要求7所述的方法，其特征在于，所述在所述消息内容区域中添加所述消息内容，包括：

对所述消息内容进行关键词提取，确定各所述关键词的权重值；

将符合权重值条件的所述关键词进行突出显示。

9.根据权利要求8所述的方法，其特征在于，所述在所述消息内容区域中添加所述消息内容，包括：

根据所述消息内容区域的灰度数据，确定所述消息内容的显示颜色；

根据所述消息内容区域的形状以及所述消息内容的字符数量，确定所述消息的排版布局。

10.一种表情图片生成装置，其特征在于，应用于即时通信，所述装置包括：

图片标签确定模块，用于确定多个图片的图片标签，所述图片标签与所述图片的内容相关；

标签内容匹配模块，用于获取输入的消息内容，与所述多个图片的图片标签进行匹配；

目标图片确定模块，用于根据匹配结果，得到至少一个目标图片；

表情图片合成模块，用于将所述消息内容与所述至少一个目标图片合成，得到与所述消息内容对应的至少一个表情图片。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～9中任一项所述的表情图片生成方法。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～9中任一项所述的表情图片生成方法。

Images