CN110827374A - 一种在表情图中添加文案的方法、装置及电子设备 - Google Patents

一种在表情图中添加文案的方法、装置及电子设备 Download PDF

Info

Publication number
CN110827374A
CN110827374A CN201911012691.6A CN201911012691A CN110827374A CN 110827374 A CN110827374 A CN 110827374A CN 201911012691 A CN201911012691 A CN 201911012691A CN 110827374 A CN110827374 A CN 110827374A
Authority
CN
China
Prior art keywords
expression
feature
graph
initial
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911012691.6A
Other languages
English (en)
Inventor
史培培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911012691.6A priority Critical patent/CN110827374A/zh
Publication of CN110827374A publication Critical patent/CN110827374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种在表情图中添加文案的方法、装置及电子设备。该方法中，获得待添加文案的初始表情图；对初始表情图进行表情特征提取，得到目标表情特征；从预设的参考表情特征库中，确定与目标表情特征匹配的参考表情特征；其中，参考表情特征库包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案；将所确定的参考特征对应的文案，添加至初始表情图中。本发明可以快速有效地实现在表情图中添加文案，从而满足用户对表情图逐渐增多的应用需求。

Description

一种在表情图中添加文案的方法、装置及电子设备
技术领域
本发明涉及互联网技术领域，特别是涉及一种在表情图中添加文案的方法、装置及电子设备。
背景技术
在互联网技术领域中，在对话或文章中使用表情图不仅可以增加对话或文章的趣味性，还可以更好地表达发图者所想要表达的意图。在表情图中，除了包含有人员、动物或动画形象等的面部区域，通常还具有与面部区域的表情相匹配的文案。
现有技术中，在表情图中添加文案的方法包括：以人工添加文案的方式，在待添加文案的初始表情图中添加文案。
然而，随着互联网的发展，用户对表情图的应用需求逐渐增多，人工添加文案的方式效率较低，无法与逐渐增多的应用需求相匹配。因此，急需一种在表情图中添加文案的方法，以快速有效地实现在表情图中添加文案，从而满足用户对表情图逐渐增多的应用需求。
发明内容
本发明实施例的目的在于提供一种在表情图中添加文案的方法、装置及电子设备，以快速有效地实现在表情图中添加文案，从而满足用户对表情图逐渐增多的应用需求。具体技术方案如下：
第一方面，本发明实施例提供了一种在表情图中添加文案的方法，包括：
获得待添加文案的初始表情图；
对所述初始表情图进行表情特征提取，得到目标表情特征；
从预设的参考表情特征库中，确定与所述目标表情特征匹配的参考表情特征；其中，所述参考表情特征库包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案；
将所确定的参考特征对应的文案，添加至所述初始表情图中。
可选地，所述初始表情图为动态的初始表情图；
所述对所述初始表情图进行表情特征提取，得到目标表情特征的步骤，包括：
分别对动态的初始表情图中的每一帧静态图像进行表情特征提取，得到各帧静态图像的表情特征；
基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征。
可选地，所述基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征的步骤，包括：
基于所提取的各帧静态图像的表情特征，利用预设的特征融合算法，计算所述动态的初始表情图的目标表情特征。
可选地，所述从预设的参考表情特征库中，确定与所述目标表情特征匹配的参考表情特征的步骤，包括：
分别计算预设的参考表情特征库中，每个参考表情特征与所述目标表情特征的相似度；
将相似度最高且大于预设阈值的参考表情特征，作为与所述目标表情特征匹配的参考表情特征。
可选地，所述表情特征提取所采用的提取方式为：利用预设的卷积神经网络模型的特征提取层提取表情特征的方式；
其中，所述卷积神经网络模型为基于多个样本表情图所训练获得的；所述特征提取层，用于从输入至所述卷积神经网络模型的表情图中提取表情特征。
可选地，所述卷积神经网络模型为以softmax层为输出层的模型；
所述特征提取层为所述卷积神经网络模型的softmax层的前一层。
第二方面，本发明实施例提供了一种在表情图中添加文案的装置，包括：
获得模块，用于获得待添加文案的初始表情图；
特征提取模块，用于对所述初始表情图进行表情特征提取，得到目标表情特征；
确定模块，用于从预设的参考表情特征库中，确定与所述目标表情特征匹配的参考表情特征；其中，所述参考表情特征库包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案；
文案添加模块，用于将所确定的参考特征对应的文案，添加至所述初始表情图中。
可选地，所述初始表情图为动态的初始表情图；
所述特征提取模块，包括特征提取子模块和确定子模块；
所述特征提取子模块，用于分别对动态的初始表情图中的每一帧静态图像进行表情特征提取，得到各帧静态图像的表情特征；
所述确定子模块，用于基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征。
可选地，所述确定子模块，具体用于：
基于所提取的各帧静态图像的表情特征，利用预设的特征融合算法，计算所述动态的初始表情图的目标表情特征。
可选地，所述确定模块，具体用于：
分别计算预设的参考表情特征库中，每个参考表情特征与所述目标表情特征的相似度；
将相似度最高且大于预设阈值的参考表情特征，作为与所述目标表情特征匹配的参考表情特征。
可选地，所述表情特征提取所采用的提取方式为：利用预设的卷积神经网络模型的特征提取层提取表情特征的方式；
其中，所述卷积神经网络模型为基于多个样本表情图所训练获得的；所述特征提取层，用于从输入至所述卷积神经网络模型的表情图中提取表情特征。
可选地，所述卷积神经网络模型为以softmax层为输出层的模型；
所述特征提取层为所述卷积神经网络模型的softmax层的前一层。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述在表情图中添加文案的方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的在表情图中添加文案的方法。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的在表情图中添加文案的方法。
本发明实施例提供的在表情图中添加文案的方法中，预先设置有参考表情特征库；当获得待添加文案的初始表情图时，可以对初始表情图进行表情特征提取，得到目标表情特征；然后，从所预设的参考表情特征库中，确定与目标表情特征相匹配的参考表情特征；将所确定的参考表情特征对应的文案，添加至该初始表情图中。相较于现有技术，本方案不依赖于人工，可以快速有效地实现在表情图中添加文案，从而可以满足用户对表情图逐渐增多的应用需求。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种在表情图中添加文案的方法的流程图；
图2(a)为示例性给出的未添加任何文案的初始表情图的示意图；
图2(b)为示例性给出的已具有文案的初始表情图的示意图；
图3(a)为一个示例性的待添加文案的初始表情图；
图3(b)为预先构建参考表情特征库时，所使用的一个具有文案的表情图的示意图；
图3(c)为在图3(a)所示的初始表情图中添加了文案后所得到的表情图；
图4为本发明实施例提供的一种在表情图中添加文案的装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了快速有效地实现在表情图中添加文案，从而满足用户对表情图逐渐增多的应用需求，本发明实施例提供了一种在表情图中添加文案的方法、装置及电子设备。
需要说明的是，本发明实施例提供的在表情图中添加文案的方法的执行主体，可以为一种在表情图中添加文案的装置；该装置可以用于电子设备中。在具体应用中，该电子设备可以为智能手机、数字广播终端、消息收发设备、游戏设备、平板设备、医疗设备、监控设备、娱乐设备、健身设备，或者个人数字助理等。另外，该电子设备还可以为作为终端或服务器的计算机。
本发明实施例中，预先设有参考表情特征库，该参考表情特征库中，包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案。在预先设置该参考表情特征库时，可以收集大量的包含有文案的表情图，其中，所收集的表情图可以包含各种的表情类别，如高兴、悲伤、愤怒、恐惧、惊讶、轻蔑以及厌恶等；针对所收集的每一张表情图，可以对该表情图进行表情特征提取，得到参考表情特征，并将该表情图中的文案作为该参考表情特征对应的文案；然后，将所提取的参考表情特征以及参考表情特征对应的文案一并存入参考表情特征库中。在实际应用中，表情特征数据形式具体可以为多维数组。
需要强调的是，本发明实施例中所提到的各种表情图，均指包含有人员、动物或动画形象等的面部区域的表情图。
首先，对本发明实施例提供的一种在表情图中添加文案的方法进行详细说明。如图1所示，本发明实施例提供在表情图中添加文案的方法，可以包括以下步骤：
S101：获得待添加文案的初始表情图。
可以理解的是，表情图中可以具有一个或多个文案，因此，本步骤中所获得待添加文案的初始表情图，可以是图2(a)所示的未添加过任何文案的初始表情图，也可以是图2(b)所示的已具有文案的初始表情图。
并且，所获得的初始表情图可以是静态的初始表情图，也可以是动态的初始表情图。其中，静态的初始表情图是指具有一帧图像的表情图，如Bmp、JPG，JPEG、PNG等图像格式的表情图；而动态的初始表情图则可以包括多帧图像，并且，动态的初始表情图所包含的多帧图像按照预定的频率进行切换，可以产生动态的显示效果，例如Gif动画等。
S102：对初始表情图进行表情特征提取，得到目标表情特征。
本步骤中，当初始表情图为静态的初始表情图时，对初始表情图进行表情特征提取，得到目标表情特征可以包括：
对静态的初始表情图进行表情特征提取，将所提取到的表情特征，确定为目标表情特征。
而当初始表情图为动态的初始表情图时，对初始表情图进行表情特征提取，得到目标表情特征可以包括：
分别对动态的初始表情图中的每一帧静态图像进行表情特征提取，得到各帧静态图像的表情特征；
基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征。
需要说明的是，基于所提取的各帧静态图像的表情特征，确定动态的初始表情图的目标表情特征的具体实现方式可以存在多种。为了方案清楚及布局清晰，后续对基于所提取的各帧静态图像的表情特征，确定动态的初始表情图的目标表情特征的具体实现方式进行示例性的说明。
另外，无论是针对静态的初始表情图，还是动态的初始表情图的每一帧静态图像，进行表情特征提取所采用的提取方式可以存在多种，任一种能够实现表情特征提取的提取方式均适用于本发明实施例。示例性，在一种实现方式，表情特征提取所采用的提取方式可以为：利用预设的卷积神经网络模型的特征提取层提取表情特征的方式；
其中，该卷积神经网络模型为基于多个样本表情图所训练获得的；该特征提取层，用于从输入至卷积神经网络模型的表情图中提取表情特征。
在实际应用中，在开始训练卷积神经网络模型之前，可以针对“高兴、悲伤、愤怒、恐惧、惊讶、轻蔑以及厌恶等表情”中的每种表情，收集大量具有该种表情的表情图作为样本表情图。这里所收集的样本表情图中，可以具有文案，也可以不具有文案，并不影响该卷积神经网络模型的训练。另外，还可以为每个样本表情图设置标注信息，该标注信息具体可以为每个样本表情图的表情分类。在训练时，该卷积神经网络模型，除了可以对样本表情图进行表情特征提取，还可以对样本表情图进行表情分类。这样，利用对样本表情图所标注的表情分类以及卷积神经网络模型所预测输出的表情分类之间的差异，可以计算该卷积神经网络模型的损失值，当该损失值小于预设的损失值阈值时，该卷积神经网络模型训练完成。
可以理解的是，训练完成的卷积神经网络模型，既可以对初始表情图进行表情特征提取，也可以对初始表情图进行表情分类。本发明实施例中，主要采用了训练完成的卷积神经网络模型的表情特征提取功能。
该实现方式中，所采用的卷积神经网络模型可以具体为AlexNet网络结构模型等，并不局限于此，任何可用于提取表情特征的模型，均适用于本发明实施例提供的在表情图中添加文案的方法。
另外，为了保证后续特征之间的匹配的有效性，构建参考表情特征库时表情特征提取所利用的提取方式，与本步骤中表情特征提取所采用的提取方式相同。例如：本步骤中，表情特征提取所采用的方式为利用卷积神经网络模型的特征提取层的方式，那么，构建参考表情特征库时也利用卷积神经网络模型的特征提取层进行表情特征提取，并且，两个过程所利用的卷积神经网络模型为同一个模型。
S103：从预设的参考表情特征库中，确定与目标表情特征匹配的参考表情特征。
其中，参考表情特征库包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案。
这里，关于预先构建参考表情特征库的实现方式，前述内容已经进行过详细描述，此处不再赘述。
可以理解的是，由于参考表情特征库中的参考表情特征，以及目标表情特征，均是采用同种提取方式来提取的，故可以利用表情特征间的匹配程度，从参考表情特征库中确定与目标表情特征匹配的参考表情特征。为了方案清楚及布局清晰，后续对从预设的参考表情特征库中，确定与目标表情特征匹配的参考表情特征的具体实现方式进行示例性的说明。
S104：将所确定的参考特征对应的文案，添加至初始表情图中。
可以理解的是，由于参考表情特征库中的每个参考表情特征均对应有相匹配的文案，故当确定与目标表情特征匹配的参考表情特征后，可以将所确定的参考特征对应的文案，作为初始表情图的文案，添加至该初始表情图中。
在实际应用中，在将所确定的参考特征对应的文案添加至初始表情图中时，该文案的显示格式以及该文案在该初始表情图中的添加位置，可以与提取该参考特征时所用到的表情图中的文案相同，当然，也可以不同，本发明对此不做限定。
为了方案清楚，现将本发明实施例在表情图中添加文案的方案，使用图3(a)～图3(b)进行说明。其中，图3(a)为一个示例性的待添加文案的初始表情图；图3(b)为预先构建参考表情特征库时，所使用的一个具有文案的表情图；从该表情图中提取的参考表情特征对应的文案，即是该表情图中的文案“憨笑～”；假设该参考表情特征与图3(a)所示的初始表情图的目标表情特征相匹配；那么，如图3(c)所示，在图3(a)所示的初始表情图中添加了文案后所得到的表情图的文案，即是该参考表情特征对应的文案“憨笑～”。
本发明实施例提供的在表情图中添加文案的方法中，预先设置有参考表情特征库；当获得待添加文案的初始表情图时，可以对初始表情图进行表情特征提取，得到目标表情特征；然后，从预设的参考表情特征库中，确定与目标表情特征相匹配的参考表情特征；将所确定的参考表情特征对应的文案，添加至该初始表情图中。相较于现有技术，本方案不依赖于人工，可以快速有效地实现在表情图中添加文案，从而可以满足用户对表情图逐渐增多的应用需求。
下面，对从预设的参考表情特征库中，确定与目标表情特征匹配的参考表情特征的具体实现方式进行示例性的说明。
示例性的，在一种实现方式中，从预设的参考表情特征库中，确定与目标表情特征匹配的参考表情特征，可以包括：
分别计算预设的参考表情特征库中，每个参考表情特征与目标表情特征的相似度；
将相似度最高且大于预设阈值的参考表情特征，作为与目标表情特征匹配的参考表情特征。
其中，计算参考表情特征与目标表情特征的相似度，可以具体为计算参考表情特征与目标表情特征之间的欧几里得距离，或者计算二者之间的余弦相似度等等，并不局限于此。另外，预设阈值可以根据实际情况而定，当为了精准地确定出匹配的参考表情特征时，可以将预设阈值设定得较高一些。例如，可以就预设阈值设置为[80％，100％)中的任意一个数值。
可以理解的是，由于参考表情特征库中的参考表情特征，以及目标表情特征均为多维数组，因此可以通过计算多维数组间的相似度的方式，计算每个参考表情特征与目标表情特征的相似度。并且，将相似度最高且大于预设阈值的参考表情特征，作为与目标表情特征匹配的参考表情特征，可以避免将数值较低的最高相似度所对应的参考表情特征，误当作与目标表情特征匹配的参考表情特征。例如，假设计算得到的最高的一个相似度为30％，显然，该相似度对应的参考表情特征，与目标表情特征并不匹配。此时，可以确定参考表情特征库中，并没有与目标表情特征匹配的参考特征。当然，在预先构建参考表情特征库时，所收集的表情图较为海量的情况下，这种找不到与目标表情特征匹配的参考特征的情况较为少见。
为了方案清楚及布局清晰，下面对基于所提取的各帧静态图像的表情特征，确定动态的初始表情图的目标表情特征的具体实现方式进行示例性的说明。
示例性的，在一种实现方式中，基于所提取的各帧静态图像的表情特征，确定动态的初始表情图的目标表情特征，可以包括：
基于所提取的各帧静态图像的表情特征，利用预设的特征融合算法，计算所述动态的初始表情图的目标表情特征。
其中，预设的特征融合算法可以存在多种。示例性的，该特征融合算法可以为取平均法或concat方法等，并不局限于此。其中，求平均方具体可以为对所提取的各帧静态图像的表情特征取平均值；concat方法为一种用于连接数组的方法，即可以对从各帧静态图像中所提取的多维数组形式的表情特征进行连接，形成维度数更多的表情特征。在一种实现方式中，当动态的初始表情图所包含的帧数较多时，可以从各帧中挑选部分帧的静态图像，利用concat方法，将所挑选的静态图像的表情特征进行连接，得到该动态的初始表情图的目标表情特征。
可以理解的是，当预设的特征融合算法为concat方法时，计算目标表情特征时，该目标表情特征的维度数，可以与参考表情特征库中的参考表情特征的维度数相等。这样，便于从后续从参考表情特征库中，确定与目标表情特征匹配的参考特征时，计算多维数组间的相似度。
另外，可选地，在一种实现方式中，上述的卷积神经网络模型，可以为以softmax层为输出层的卷积神经网络模型；
并且，该特征提取层为卷积神经网络模型的softmax层的前一层。
可以理解的是，该特征提取层为功能性的层级定义。在实际应用中，该特征提取层可以具有多级网络结构；并且，该特征提取层的最后一层网络结构的输出，即为该softmax层的输入。这样，该特征提取层所提取的表情特征，是经过该卷积神经网络模型的层层网络结构后所输出的最终特征，且是用于决定表情图或初始表情图的表情分类的最有效的特征。
相应于上述的一种在表情图中添加文案的方法，本发明实施例还提供了一种在表情图中添加文案的装置。如图4所示，该装置可以包括：
获得模块401，用于获得待添加文案的初始表情图；
特征提取模块402，用于对所述初始表情图进行表情特征提取，得到目标表情特征；
确定模块403，用于从预设的参考表情特征库中，确定与所述目标表情特征匹配的参考表情特征；其中，所述参考表情特征库包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案；
文案添加模块404，用于将所确定的参考特征对应的文案，添加至所述初始表情图中。
可选地，所述初始表情图为动态的初始表情图；
所述特征提取模块402，包括特征提取子模块和确定子模块；
所述特征提取子模块，用于分别对动态的初始表情图中的每一帧静态图像进行表情特征提取，得到各帧静态图像的表情特征；
所述确定子模块，用于基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征。
可选地，所述确定子模块，具体用于：
基于所提取的各帧静态图像的表情特征，利用预设的特征融合算法，计算所述动态的初始表情图的目标表情特征。
可选地，所述确定模块403，具体用于：
分别计算预设的参考表情特征库中，每个参考表情特征与所述目标表情特征的相似度；
将相似度最高且大于预设阈值的参考表情特征，作为与所述目标表情特征匹配的参考表情特征。
可选地，所述表情特征提取所采用的提取方式为：利用预设的卷积神经网络模型的特征提取层提取表情特征的方式；
其中，所述卷积神经网络模型为基于多个样本表情图所训练获得的；所述特征提取层，用于从输入至所述卷积神经网络模型的表情图中提取表情特征。
可选地，所述卷积神经网络模型为以softmax层为输出层的模型；
所述特征提取层为所述卷积神经网络模型的softmax层的前一层。
本发明实施例提供的在表情图中添加文案的装置，预先设置有参考表情特征库；当获得待添加文案的初始表情图时，可以对初始表情图进行表情特征提取，得到目标表情特征；然后，从所预设的参考表情特征库中，确定与目标表情特征相匹配的参考表情特征；将所确定的参考表情特征对应的文案，添加至该初始表情图中。相较于现有技术，本方案不依赖于人工，可以快速有效地实现在表情图中添加文案，从而可以满足用户对表情图逐渐增多的应用需求。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现上述任一所述的在表情图中添加文案的方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的在表情图中添加文案的方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的在表情图中添加文案的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种在表情图中添加文案的方法，其特征在于，包括：
获得待添加文案的初始表情图；
对所述初始表情图进行表情特征提取，得到目标表情特征；
从预设的参考表情特征库中，确定与所述目标表情特征匹配的参考表情特征；其中，所述参考表情特征库包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案；
将所确定的参考特征对应的文案，添加至所述初始表情图中。
2.根据权利要求1所述的方法，其特征在于，所述初始表情图为动态的初始表情图；
所述对所述初始表情图进行表情特征提取，得到目标表情特征的步骤，包括：
分别对动态的初始表情图中的每一帧静态图像进行表情特征提取，得到各帧静态图像的表情特征；
基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征的步骤，包括：
基于所提取的各帧静态图像的表情特征，利用预设的特征融合算法，计算所述动态的初始表情图的目标表情特征。
4.根据权利要求1所述的方法，其特征在于，所述从预设的参考表情特征库中，确定与所述目标表情特征匹配的参考表情特征的步骤，包括：
分别计算预设的参考表情特征库中，每个参考表情特征与所述目标表情特征的相似度；
将相似度最高且大于预设阈值的参考表情特征，作为与所述目标表情特征匹配的参考表情特征。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述表情特征提取所采用的提取方式为：利用预设的卷积神经网络模型的特征提取层提取表情特征的方式；
其中，所述卷积神经网络模型为基于多个样本表情图所训练获得的；所述特征提取层，用于从输入至所述卷积神经网络模型的表情图中提取表情特征。
6.根据权利要求5所述的方法，其特征在于，所述卷积神经网络模型为以softmax层为输出层的模型；
所述特征提取层为所述卷积神经网络模型的softmax层的前一层。
7.一种在表情图中添加文案的装置，其特征在于，包括：
获得模块，用于获得待添加文案的初始表情图；
特征提取模块，用于对所述初始表情图进行表情特征提取，得到目标表情特征；
确定模块，用于从预设的参考表情特征库中，确定与所述目标表情特征匹配的参考表情特征；其中，所述参考表情特征库包含多个参考表情特征，每一参考表情特征为对一表情图进行表情特征提取所得的特征，且对应有与该表情图中的表情相匹配的文案；
文案添加模块，用于将所确定的参考特征对应的文案，添加至所述初始表情图中。
8.根据权利要求7所述的装置，其特征在于，所述初始表情图为动态的初始表情图；
所述特征提取模块，包括特征提取子模块和确定子模块；
所述特征提取子模块，用于分别对动态的初始表情图中的每一帧静态图像进行表情特征提取，得到各帧静态图像的表情特征；
所述确定子模块，用于基于所提取的各帧静态图像的表情特征，确定所述动态的初始表情图的目标表情特征。
9.根据权利要求8所述的装置，其特征在于，所述确定子模块，具体用于：
基于所提取的各帧静态图像的表情特征，利用预设的特征融合算法，计算所述动态的初始表情图的目标表情特征。
10.根据权利要求7所述的装置，其特征在于，所述确定模块，具体用于：
分别计算预设的参考表情特征库中，每个参考表情特征与所述目标表情特征的相似度；
将相似度最高且大于预设阈值的参考表情特征，作为与所述目标表情特征匹配的参考表情特征。
11.根据权利要求7-10任一项所述的装置，其特征在于，所述表情特征提取所采用的提取方式为：利用预设的卷积神经网络模型的特征提取层提取表情特征的方式；
其中，所述卷积神经网络模型为基于多个样本表情图所训练获得的；所述特征提取层，用于从输入至所述卷积神经网络模型的表情图中提取表情特征。
12.根据权利要求11所述的装置，其特征在于，所述卷积神经网络模型为以softmax层为输出层的模型；
所述特征提取层为所述卷积神经网络模型的softmax层的前一层。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
CN201911012691.6A 2019-10-23 2019-10-23 一种在表情图中添加文案的方法、装置及电子设备 Pending CN110827374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911012691.6A CN110827374A (zh) 2019-10-23 2019-10-23 一种在表情图中添加文案的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911012691.6A CN110827374A (zh) 2019-10-23 2019-10-23 一种在表情图中添加文案的方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN110827374A true CN110827374A (zh) 2020-02-21

Family

ID=69550251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911012691.6A Pending CN110827374A (zh) 2019-10-23 2019-10-23 一种在表情图中添加文案的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110827374A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547850A (zh) * 2016-10-18 2017-03-29 北京小米移动软件有限公司 表情注释方法及装置
CN106844659A (zh) * 2017-01-23 2017-06-13 宇龙计算机通信科技(深圳)有限公司 一种多媒体数据处理方法和装置
CN107369196A (zh) * 2017-06-30 2017-11-21 广东欧珀移动通信有限公司 表情包制作方法、装置、存储介质及电子设备
CN108108450A (zh) * 2017-12-27 2018-06-01 珠海市君天电子科技有限公司 图像处理的方法及相关设备
CN109508399A (zh) * 2018-11-20 2019-03-22 维沃移动通信有限公司 一种表情图像处理方法、移动终端
CN110321845A (zh) * 2019-07-04 2019-10-11 北京奇艺世纪科技有限公司 一种从视频中提取表情包的方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547850A (zh) * 2016-10-18 2017-03-29 北京小米移动软件有限公司 表情注释方法及装置
CN106844659A (zh) * 2017-01-23 2017-06-13 宇龙计算机通信科技(深圳)有限公司 一种多媒体数据处理方法和装置
CN107369196A (zh) * 2017-06-30 2017-11-21 广东欧珀移动通信有限公司 表情包制作方法、装置、存储介质及电子设备
CN108108450A (zh) * 2017-12-27 2018-06-01 珠海市君天电子科技有限公司 图像处理的方法及相关设备
CN109508399A (zh) * 2018-11-20 2019-03-22 维沃移动通信有限公司 一种表情图像处理方法、移动终端
CN110321845A (zh) * 2019-07-04 2019-10-11 北京奇艺世纪科技有限公司 一种从视频中提取表情包的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111460130B (zh) 信息推荐方法、装置、设备和可读存储介质
CN108874776B (zh) 一种垃圾文本的识别方法及装置
CN106874253A (zh) 识别敏感信息的方法及装置
US20170337449A1 (en) Program, system, and method for determining similarity of objects
CN109033261B (zh) 图像处理方法、装置、处理设备及其存储介质
CN113722438B (zh) 基于句向量模型的句向量生成方法、装置及计算机设备
CN112559800B (zh) 用于处理视频的方法、装置、电子设备、介质和产品
CN113538070B (zh) 用户生命价值周期检测方法、装置和计算机设备
CN113553510B (zh) 一种文本信息推荐方法、装置及可读介质
CN110706312A (zh) 一种表情包的文案确定方法、装置及电子设备
CN112507167A (zh) 一种识别视频合集的方法、装置、电子设备及存储介质
CN109885831B (zh) 关键术语抽取方法、装置、设备及计算机可读存储介质
CN112995414B (zh) 基于语音通话的行为质检方法、装置、设备及存储介质
CN112131506B (zh) 一种网页分类方法、终端设备及存储介质
WO2021114634A1 (zh) 文本标注方法、设备及存储介质
CN111062490B (zh) 一种包含隐私数据的网络数据的处理、识别方法及装置
WO2021081914A1 (zh) 推送对象确定方法、装置、终端设备及存储介质
CN110827374A (zh) 一种在表情图中添加文案的方法、装置及电子设备
CN112035738B (zh) 一种电子书单推荐方法及装置、电子设备
CN111708988B (zh) 侵权视频识别方法、装置、电子设备及存储介质
CN113704623A (zh) 一种数据推荐方法、装置、设备及存储介质
Singh et al. Application of error level analysis in image spam classification using deep learning model
CN112906386B (zh) 一种确定文本特征的方法及装置
CN116663648B (zh) 模型训练方法、装置、设备及存储介质
CN113377933B (zh) 多轮对话的意图分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination