CN110276406B - 表情分类方法、装置、计算机设备及存储介质 - Google Patents

表情分类方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110276406B
CN110276406B CN201910561766.XA CN201910561766A CN110276406B CN 110276406 B CN110276406 B CN 110276406B CN 201910561766 A CN201910561766 A CN 201910561766A CN 110276406 B CN110276406 B CN 110276406B
Authority
CN
China
Prior art keywords
expression
target
matrix
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910561766.XA
Other languages
English (en)
Other versions
CN110276406A (zh
Inventor
刘龙坡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910561766.XA priority Critical patent/CN110276406B/zh
Publication of CN110276406A publication Critical patent/CN110276406A/zh
Application granted granted Critical
Publication of CN110276406B publication Critical patent/CN110276406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种表情分类方法、装置、计算机设备及存储介质，涉及表情分类领域。该方法包括：获取表情包中各个表情对应的目标表情图像；对各个目标表情图像进行特征提取，得到各个目标表情图像对应的初始图像特征；根据初始图像特征构建初始特征矩阵和邻接矩阵，邻接矩阵用于表示目标表情图像之间的关联关系；根据初始特征矩阵和邻接矩阵提取表情包对应的目标图像特征；根据目标图像特征对表情包进行分类，得到表情包对应的表情类型。本申请实施例中，根据初始特征矩阵和邻接矩阵提取到的目标图像特征融合了表情包中各个表情的特征，有助于提高基于目标图像特征进行表情分类的准确性。

Description

表情分类方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及表情分类领域，特别涉及一种表情分类方法、装置、计算机设备及存储介质。
背景技术
在使用即时通信应用程序进行聊天的过程中，为了增加聊天趣味性，除了发送文字外，用户还可以向对方发送表情。
在一种获取表情的方式中，即时通信应用程序中提供表情包下载入口，通过该入口，用户可以从表情库中下载心仪的表情包，从而在聊天过程中选择使用表情包中的表情。为了提高用户下载表情包的效率，表情库中的表情包预先设置有表情类型，方便用户根据表情类型进行表情包搜索。
相关技术中，通常采用人工标注的方式为表情包设置表情类型。在表情类型标注过程中，标注人员需要遍历表情包中的各个表情，然后为表情包设置合适的表情类型。然后，由于表情包中表情数量较多，且标注人员需要综合考虑各个表情的表情特点后才能设置表情类型，导致设置表情类型的效率较低，且准确性较差。
发明内容
本申请实施例提供了一种表情分类方法、装置、计算机设备及存储介质，可以解决采用人工标注方式为表情包设置表情类型时，设置表情类型的效率较低，且准确性较差的问题。所述技术方案如下：
一方面，本申请实施例提供了一种表情分类方法，所述方法包括：
获取表情包中各个表情对应的目标表情图像；
对各个所述目标表情图像进行特征提取，得到各个所述目标表情图像对应的初始图像特征；
根据所述初始图像特征构建初始特征矩阵和邻接矩阵，所述初始特征矩阵中包含所述初始图像特征，所述邻接矩阵用于表示所述目标表情图像之间的关联关系；
根据所述初始特征矩阵和所述邻接矩阵提取所述表情包对应的目标图像特征；
根据所述目标图像特征对所述表情包进行分类，得到所述表情包对应的表情类型。
另一方面，本申请实施例提供了一种表情分类装置，所述装置包括：
获取模块，用于获取表情包中各个表情对应的目标表情图像；
第一特征提取模块，用于通过图像特征提取模型对各个所述目标表情图像进行特征提取，得到各个所述目标表情图像对应的初始图像特征；
第一构建模块，用于根据所述初始图像特征构建初始特征矩阵和邻接矩阵，所述初始特征矩阵中包含所述初始图像特征，所述邻接矩阵用于表示所述目标表情图像之间的关联关系；
第二特征提取模块，用于根据所述初始特征矩阵和所述邻接矩阵提取所述表情包对应的目标图像特征；
分类模块，用于根据所述目标图像特征对所述表情包进行分类，得到所述表情包对应的表情类型。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的表情分类方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的表情分类方法。
另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述方面所述的表情分类方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
获取表情包中各个表情对应的目标表情图像后，通过对各个目标表情图像进行特征提取，得到各个目标表情图像对应的初始图像特征，从而根据初始图像特征构建初始特征矩阵和邻接矩阵，进而根据初始特征矩阵和邻接矩阵输入目标图卷积网络进一步提取表情包的目标图像特征，最终根据目标图像特征对表情包进行分类，得到对应的表情类型；表情分类过程中无需人为参与，提高了表情分类的效率；并且，由于初始特征矩阵中包含各个表情图像的初始图像特征，且邻接矩阵能够体现表情图像之间的关联关系，因此提取到的目标图像特征融合了表情包中各个表情的特征，有助于提高基于目标图像特征进行表情分类的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示意性实施例提供的表情分类方法实施过程的原理图；
图2示出了本申请一个示例性实施例提供的表情分类方法的流程图；
图3是一个示意性实施例提供的应用场景的场景示意图；
图4示出了本申请另一个示例性实施例提供的表情分类方法的流程图；
图5是图4所示表情分类方法实施过程的实施示意图；
图6是目标图卷积网络训练过程的流程图；
图7是本申请一个示例性实施例提供的表情分类装置的结构框图；
图8示出了本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
为了便于理解，下面对本申请实施例中涉及的一些名词进行简单介绍。
图卷积网络(Graph Convolutional Network，GCN)：一种用于对图数据进行特征提取的深度学习网络，其中包含若干个卷积层，各个卷积层用于对上一卷积层输出的特征进行进一步特征提取。由于图数据中包含各个节点的特征信息以及节点之间的结构信息，因此利用图卷积网络对图数据进行特征提取时，能够同时学习到图数据的节点特征以及结构特征。
拓扑结构图：一种由拓扑节点以及拓扑节点之间连接边构成的图。其中，拓扑节点之间的连接边用于表示节点之间的关联关系，且该连接边可以为有向连接边或者无向连接边。本申请实施例中，拓扑结构图中的拓扑节点为表情包中表情图像的图像特征，而拓扑节点之间的连接边为无向连接边，用于表示表情图像之间图像特征的相似度。并且，本申请实施例中图卷积网络即用于对拓扑结构图进行特征提取。
相关技术中，为表情包设置表情类型时，需要标注人员遍历表情包中的各个表情，然后综合各个表情的表情特点，从预先设置的若干候选表情类型中确定出至少一个适用于该表情包的表情类型。由于一个表情包中通常包含多个表情(比如一个表情包中包含20个表情)，因此标注人员需要花费大量时间遍历表情(对于动态表情包，遍历动态表情花费的时间更长)，影响设置表情类型的效率；并且，标注人员遍历过程中可能会有所遗忘，导致最终设置的表情类型的准确率较低。
而本申请实施例中，利用“图像特征提取模型+图卷积网络”对表情包中的表情进行特征提取，从而根据最终提取到的目标图像特征确定表情包对应的表情类型，避免了人工遍历表情，提高了设置表情类型的效率；同时，利用图卷积网络进行图像提取时，能够学习到表情包中表情之间特有的结构特征，即图卷积网络最终输出的目标图像特征不仅融合了各个表情的图像特征，又兼具了表情之间的结构特征，进而提高后续基于目标图像特征进行表情分类的准确性。
示意性的，如图1所示，对表情包11进行表情分类时，表情包11中的各个表情首先被输入图像特征提取模型12，得到各个表情各自对应的初始图像特征，然后基于各个初始图像特征生成表情包11对应的拓扑结构图13，该拓扑结构图13用于表征各个表情各自的图像特征以及表情之间的关联关系。
进一步的，利用图卷积网络14对拓扑结构图13进行特征提取，得到表情包11的目标图像特征15，从而利用分类器16对目标图像特征15进行分类，最终确定表情包11的表情类型17。
本申请各个实施例提供的表情分类方法可以用于个人计算机或服务器等具有较强数据处理能力的计算机设备。在一种可能的应用场景下，该表情分类方法应用于表情服务器，以实现表情包自动分类功能。在该应用场景下，表情包创作人员将表情包上传至表情服务器后，表情服务器首先利用图像特征提取模型对表情包中的各个表情进行特征提取，得到各个表情的初始图像特征，然后基于初始图像特征构建表情包对应的拓扑结构图，进一步利用图卷积网络对拓扑结构图进行特征提取，最终得到表情包对应的目标图像特征，从而基于目标图像特征确定表情包的表情类型，完成表情分类。对于完成表情分类的表情包，表情服务器将表情包与对应的表情类型关联存储到表情库中，以便后续用户基于表情类型在表情库中进行表情包搜索。
需要说明的是，上述应用场景仅作为一种示例，除了上述应用场景外，本申请实施例提供的方法还可以应用于其他需要对图像集合进行分类的场景，本申请实施例并不对具体的应用场景进行限定。
请参考图2，其示出了本申请一个示例性实施例提供的表情分类方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤201，获取表情包中各个表情对应的目标表情图像。
其中，该表情包中包含多张表情，且该表情可以是静态表情(比如jpg格式的表情图片)或动态表情(比如GIF格式的表情动图)。
在一种可能的实施方式中，当表情包中的表情为静态表情时，计算机设备直接将表情作为目标表情图像；当表情包中的表情为动态表情时，计算机设备从动态表情中提取一帧图像作为目标表情图像。
步骤202，对各个目标表情图像进行特征提取，得到各个目标表情图像对应的初始图像特征。
在一种可能的实施方式中，计算机设备通过预先训练得到的图像特征提取模型对目标表情图像进行特征提取，其中，该图像特征提取模型基于卷积神经网络(Convolutional Neural Networks，CNN)训练得到，该图像特征提取模型可以为VGGNet模型(由5层卷积层、3层全连接层以及softmax输出层构成)、Resnet模型或Alexnet模型等等，本申请实施例并不对图像特征提取模型的具体类型或结构进行限定。
在一种可能的实施方式中，图像特征提取模型输出的初始图像特征采用特征向量表示，且对不同目标表情图像进行特征提取后输出的初始图像特征的向量维度相同。
可选的，利用图像特征提取模型进行特征提取前，计算机设备还需要对目标表情图像进行预处理，使预处理后的目标图像表情满足图像特征提取模型的输入条件。
步骤203，根据初始图像特征构建初始特征矩阵和邻接矩阵，初始特征矩阵中包含初始图像特征，邻接矩阵用于表示目标表情图像之间的关联关系。
可选的，初始特征矩阵和邻接矩阵用于描述表情包对应的拓扑结构图，其中，初始特征矩阵用于描述拓扑结构图中各个拓扑节点，而邻接矩阵则用于描述各个拓扑节点之间的连接关系(即拓扑节点之间是否具有连接边)。
在一种可能的实施方式中，计算机设备根据各个初始图像特征构建初始特征矩阵；根据各个初始图像特征确定各个目标表情图像之间的关联关系，从而基于该关联关系生成邻接矩阵。
在一个示意性的例子中，当表情包中包含N个表情时，且对每个表情对应的初始图像特征为D维特征向量时，该初始特征矩阵即为N×D维矩阵，邻接矩阵即为N×N维矩阵。
步骤204，根据初始特征矩阵和邻接矩阵提取表情包对应的目标图像特征。
进一步的，计算机设备根据初始特征矩阵指示的各个目标表情图像各自的图像特征，以及邻接矩阵指示的目标表情图像之间图像特征的关联性，提取出表情包的目标图像特征。
针对提取目标图像特征的方式，在一种可能的实施方式中，计算机设备将构建的初始特征矩阵和邻接矩阵输入预先训练得到的目标图卷积网络，由目标图卷积网络中的各个卷积层依次对初始特征矩阵和邻接矩阵进行特征提取，最终输出表情包对应的目标图像特征。
其中，目标图卷积网络包含L个卷积层，利用目标图卷积网络进行特征提取过程中，卷积层会根据邻接矩阵描述的关联关系，将拓扑节点对应的初始图像特征经过变换后传递到与其具有关联关系的其他拓扑节点，相应的，各个拓扑节点会对其他拓扑节点传递的图像特征进行融合(融合后还会进行非线性变换，以增加表达能力)，因此，目标图卷积网络最终输出的目标图像特征融合了各个表情的图像特征以及表情之间的结构特征。
在一种可能的实施方式中，目标图卷积网络各个卷积层输出的特征矩阵的与初始特征矩阵的尺寸一致，对于目标图卷积网络中最后一个卷积层输出的目标特征矩阵，计算机设备将该目标特征矩阵中各个图像特征进行拼接，得到目标图像特征。
在一个示意性的例子中，当初始特征矩阵即为N×D维矩阵时，目标图卷积网络输出的目标图像特征即为1×ND维矩阵。
步骤205，根据目标图像特征对表情包进行分类，得到表情包对应的表情类型。
在一种可能的实施方式中，计算机设备将目标图像特征输入分类器，得到分类器输出的各种候选表情类型的概率，从而将最高概率对应的候选表情类型确定为表情包的表情类型。
可选的，该分类器为softmax分类器或其它多分类分类器，本实施例对此不做限定。
在一种可能的应用场景下，当计算机设备为即时通信应用的服务器时，服务器通过上述步骤对创作者上传的表情包进行了表情分类，并将表情包与表情分类进行关联存储。用户使用即时通信应用过程中，可以通过即时通信应用中的表情下载入口访问服务器，并将表情类型关键字发送至服务器，由服务器从表情库中查找与该表情类型关键字匹配的表情包，从而将查找到的表情包反馈给即时通信应用，供用户选择下载并使用。
示意性的，如图3所示，创作者使用第一终端31将表情包上传至服务器32后，服务器32通过表情图像特征提取模块321对表情包中各个表情进行图像特征提取，然后通过表情包图像特征提取模块322对各个表情的初始图像特征进行进一步特征提取，得到表情包的目标图像特征，进而利用分类模块323对目标图像特征进行分类，得表情包的表情类型，并最终将表情包和表情类型关联存储到表情库324中。当表情使用者需要下载表情包时，可以使用第二终端33访问服务器32时，并向服务器32发送表情类型关键字，由服务器32根据表情类型关键字在表情库324中进行查找，并将查找到的候选表情包反馈给第二终端33，供表情使用者选择下载。
综上所述，本申请实施例中，获取表情包中各个表情对应的目标表情图像后，通过对各个目标表情图像进行特征提取，得到各个目标表情图像对应的初始图像特征，从而根据初始图像特征构建初始特征矩阵和邻接矩阵，进而根据初始特征矩阵和邻接矩阵输入目标图卷积网络进一步提取表情包的目标图像特征，最终根据目标图像特征对表情包进行分类，得到对应的表情类型；表情分类过程中无需人为参与，提高了表情分类的效率；并且，由于初始特征矩阵中包含各个表情图像的初始图像特征，且邻接矩阵能够体现表情图像之间的关联关系，因此提取到的目标图像特征融合了表情包中各个表情的特征，有助于提高基于目标图像特征进行表情分类的准确性。
在一种可能的实施方式中，根据初始图像特征构建的邻接矩阵用于表示目标表情图像的图像特征是否相似，相应的，利用目标图卷积网络进行特征提取过程中，各个卷积层即根据邻接矩阵将与拓扑节点对应的图像特征，传递至与该拓扑节点具有相似图像特征的其他拓扑节点，使得各个拓扑节点能够融合与其相似的拓扑节点的图像特征。下面采用示意性的实施例进行说明。
请参考图4，其示出了本申请另一个示例性实施例提供的表情分类方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。
步骤401，获取表情包中各个表情对应的目标表情图像。
当表情包中的表情为动态表情时，为了避免将动态表情中信息量较少的图像帧作为动态表情对应的目标表情图像，导致后续图像特征提取效果不佳，最终影响表情分类结果准确性的问题，在一种可能的实施方式中，对于表情包中的任一动态表情，计算机设备通过如下步骤确定动态表情对应的目标表情图像。
一、提取动态表情中的各帧候选表情图像。
在一种可能的实施方式中，计算机设备逐帧提取动态表情中的各帧候选表情图像。比如，计算机设备从动态表情中提取到10帧候选表情图像。
二、对各帧候选表情图像进行边缘检测，得到各帧候选表情图像对应的边缘图像。
可选的，对于提取到的每帧候选表情，计算机设备通过拉普拉斯(laplace)算法对候选表情图像进行边缘检测，得到各帧候选表情图像对应的边缘图像，该边缘图像用于表征候选表情图像中不同内容的边缘，该边缘即为候选表情图像中灰度变化率较高的点的集合。
当然，除了通过拉普拉斯算法进行边缘检测外，终端还可以通过Sobel边缘检测算法、Canny边缘检测算法等其他算法得到候选表情图像对应的边缘图像，本申请实施例对此不做限定。
三、根据各张边缘图像确定候选表情图像中的目标表情图像，其中，目标表情图像对应边缘图像的边缘方差大于其他候选表情图像对应边缘图像的边缘方差，边缘方差用于指示边缘图像的复杂度。
进一步的，计算机设备根据边缘图像中各个像素点的像素值，计算各个边缘图像对应的边缘方差，从而根据边缘方差确定候选表情图像中的目标表情图像。由于边缘方差与边缘图像的复杂度相关，且边缘方差越大，表明边缘图像的复杂度越高，因此计算机设备将最大边缘方差对应的边缘图像确定为目标边缘图像，并将目标边缘图像对应的后续表情图像确定为目标表情图像。
除了通过边缘检测方式确定目标表情图像外，在其他可能的实施方式中，当动态表情包含对应的表情预览图(可以由创作人员从候选表情图像中指定，用于展示动态表情的效果)时，计算机设备可以将该表情预览图确定为目标表情图像，本申请对此不做限定。
步骤402，对各个目标表情图像进行特征提取，得到各个目标表情图像对应的初始图像特征。
本步骤的实施方式可以参考上述步骤202，本实施例在此不再赘述。
本实施例中，图像特征提取模型提取到的初始图像特征为包含D个特征维度的特征向量。
在一个示意性的例子中，如图5所示，计算机设备通过图像特征提取模型提取到表情包中5个表情(A、B、C、D、E)对应的特征向量，分别为V1、V2、V3、V4以及V5。本示例仅以5个表情图像为例进行示意性说明，但并不对此构成限定。
步骤403，根据初始图像特征计算各个目标表情图像之间的特征相似度。
为了衡量表情包中的表情是否相似，计算机设备根据各个目标表情图像对应的初始图像特征，计算目标表情图像之间的特征相似度，其中，当初始图像特征为特征向量时，该特征相似度即为特征向量之间的相似度。
在一种可能的实施方式中，特征相似度可以采用如下至少一种：特征向量之间的欧几里得距离、余弦距离、皮尔逊相关系数。
示意性的，如图5所示，计算机设备计算两两特征向量之间的特征相似度，得到特征相似度S12、S13、S14、S15、S23、S24、S25、S34、S35、S45。
步骤404，根据特征相似度构建表情包对应的拓扑结构图，拓扑结构图中包括拓扑节点以及位于拓扑节点之间的连接边，拓扑节点与目标表情图像对应。
在一种可能的实施方式中，计算机设备设置各个目标表情图像对应的拓扑节点，并根据目标表情图像之间的特征相似度确定是否在拓扑节点之间设置连接边，从而生成表情包对应的拓扑结构图。
可选的，计算机设备中预先设置有相似度阈值，对于任意两个目标表情图像，若两个目标表情图像之间的特征相似度大于相似度阈值，两个表情图像对应的拓扑节点之间则存在连接边；若两个目标表情图像之间的特征相似度小于相似度阈值，两个目标表情图像对应的拓扑节点之间则不存在连接边。比如，该相似度阈值为0.7。
示意性的，如图5所示，计算机设备根据5个表情图像生成5个拓扑节点，并检测计算得到的特征相似度是否大于相似度阈值S，若大于，则在该特征相似度对应的拓扑节点之间设置连接边，若小于，则不会在该特征相似度对应的拓扑节点之间设置连接边。由于表情图像A与E之间的特征相似度S15、表情图像B与E之间的特征相似度S25小于S，因此生成的拓扑结构图中拓扑节点A与E之间不存在连接边，拓扑节点B与E之间不存在连接边。
可选的，根据特征相似度构建拓扑结构图后，计算机设备计算各个拓扑节点的节点度(即拓扑节点对应的连接边数量)，并将拓扑结构图中节点度低于阈值(比如1或2)的拓扑节点删除(并删除其连接边)，从而将与表情包整体特征不匹配的表情剔除，提高后续特征提取的准确性，本实施例对此不做限定。
步骤405，根据拓扑结构图生成初始特征矩阵和邻接矩阵。
进一步的，计算机设备根据拓扑结构图生成用于描述该拓扑结构图的初始特征矩阵和邻接矩阵。在一种可能的实施方式中，本步骤可以包括如下步骤：
一、根据拓扑结构图中各个拓扑节点对应的初始图像特征生成初始特征矩阵，初始特征矩阵为N×D矩阵。
可选的，当拓扑结构图中包含N个拓扑节点(即表情包中包含N个表情)，且每个拓扑节点对应的初始图像特征为D维特征向量时，计算机设备生成的初始特征矩阵为N×D矩阵，记做XN,D。
示意性的，如图5所示，计算机设备根据5个拓扑节点对应的特征向量，生成初始特征矩阵
二、根据拓扑结构图中各个拓扑节点之间的连接边生成邻接矩阵，邻接矩阵为N×N矩阵。
可选的，当拓扑结构图中包含N个拓扑节点时，计算机设备构建N×N的邻接矩阵，记做AN,N，其中，邻接矩阵中的第i行第j个元素用于表示第i个拓扑节点和第j个拓扑节点之间是否存在连接边。若第i个拓扑节点和第j个拓扑节点之间存在连接边，则第i行第j个元素的值为1；若第i个拓扑节点和第j个拓扑节点之间不存在连接边，则第i行第j个元素的值为0。
在一种可能的实施方式中，为了使后续特征传递过程中，拓扑节点自身的图像特征能够被传递，邻接矩阵中第i行第i个元素的值为1。此外，为了避免拓扑节点的节点度对后续特征传递造成影响，计算机设备利用各个拓扑节点的节点度的倒数，对邻接矩阵进行归一化处理，即归一化后，邻接矩阵中每个拓扑节点对应的节点度均为1。
示意性的，如图5所示，计算机设备根据5个拓扑节点之间的连接边，生成(未经过归一化)邻接矩阵
通过上述步骤生成初始特征矩阵和邻接矩阵后，计算机设备将初始特征矩阵和邻接矩阵输入目标图卷积网络，由目标图卷积网络进一步进行特征提取(步骤406至407)。
步骤406，将第k特征矩阵和邻接矩阵输入目标图卷积网络的第k+1卷积层，得到第k+1卷积层输出的第k+1特征矩阵，第k+1特征矩阵根据第k特征矩阵、邻接矩阵以及第k+1卷积层对应的第k+1权重矩阵计算得到。
可选的，目标图卷积网络包括L个卷积层，对于其中第k+1卷积层，其进行特征提取的过程可以表示为：H(k+1)＝f(H(k),A)，其中，H(k)为第k卷积层进行特征提取后输出的第k特征矩阵，且当k＝0时，第0卷积层输出的第0特征矩阵H(0)即为初始特征矩阵XN,D，A为邻接矩阵，f为各个卷积层之间的特征传递函数。
进一步的，f(H(k),A)＝σ(AH(k)W(k))，其中，σ为非线性激活函数(比如ReLU激活函数)，W(k)为第k卷积层对应的权重矩阵。
在一种可能的实施方式中，计算机设备将初始特征矩阵和邻接矩阵输入目标卷积网络的第一卷积层，由第一卷积层根据初始特征矩阵、邻接矩阵以及第一卷积层对应的第一权重矩阵进行特征传递，得到第一特征矩阵，并将第一特征矩阵和邻接矩阵输入第二卷积层，由第二卷积层根据第一特征矩阵、邻接矩阵以及第二卷积层对应的第二权重矩阵进行特征传递，得到第二特征矩阵，直至第L卷积层根据第L-1特征矩阵、邻接矩阵以及第L卷积层对应的第L权重矩阵进行特征传递，得到第L特征矩阵。
由于卷积层每次进行特征传递时，拓扑节点均能够接收到相邻拓扑节点传递的图像特征，因此经过多次特征传递后，各个拓扑节点能够融合非相邻拓扑节点的图像特征，从而扩大了感受域，提取到更加高级的图像特征。
示意性的，如图5所示，目标图卷积网络中包含两层卷积层，第一卷积层根据初始特征矩阵和邻接矩阵向第二卷积层输入第一特征矩阵后，第二卷积层根据第一特征矩阵和邻接矩阵输出第二特征矩阵。第一次特征传递过程中，拓扑节点D能够接收到拓扑节点E传递的特征(经过权重变换)，第二次特征传递过程中，拓扑节点D能够将拓扑节点E传递的特征传递给拓扑节点A，可见，即便拓扑节点A并未与拓扑节点E相连，经过多次特征传递后也能够获得拓扑节点E的特征。
步骤407，将目标图卷积网络中第L卷积层输出的第L特征矩阵确定为目标图像特征。
在一种可能的实施方式中，计算机设备将目标图卷积网络中第L卷积层(即最后一层卷积层)输出的第L特征矩阵确定为目标特征矩阵，并对目标特征矩阵中各个拓扑节点对应的特征向量进行拼接，从而生成目标图像特征。
示意性的，如图5所示，计算机设备将第二卷积层输出的第二特征矩阵确定为目标特征矩阵，并对其中的特征向量进行拼接，从而得到目标图像特征[V'1 V'2 V'3 V'4V'5]。
步骤408，根据目标图像特征对表情包进行分类，得到表情包对应的表情类型。
进一步的，如图5所示，计算机设备将确定出的目标图像特征输入softmax分类器中，从而根据softmax分类器的输出结果确定出表情类型。
本实施例中，计算机设备根据表情之间图像特征的特征相似度，构建表情包对应的拓扑结构图，从而基于拓扑结构图指示的特征信息以及结构信息，构建初始特征矩阵和邻接矩阵，使得目标图卷积网络能够根据邻接矩阵对相似表情的图像特征进行传递，有利于提取更加高级的图像特征，提高了特征提取的准确性。
此外，本实施例中，对于动态表情，计算机设备通过边缘检测技术，从动态表情的若干帧候选表情图像中选取图像信息最丰富的一帧作为目标表情图像，从而避免因选取图像信息较少的候选表情图像，导致图像特征提取准确性较低的问题。
上述各个实施例对目标图卷积网络的使用过程进行了说明，在一种可能的实施方式中，如图6所示，训练目标图卷积网络的过程可以包括如下步骤。
步骤601，对各个样本表情图像进行特征提取，得到各个样本表情图像对应的样本初始图像特征，各个样本表情图像对应同一样本表情类型。
在一种可能的实施方式中，在训练阶段，预先采用人工标注的方式对样本表情图像进行表情类型标注，然后从中选取属于同一样本表情类型的样本表情图像用于图卷积网络训练。
进一步的，计算机设备利用图像特征提取模型(与使用阶段的相同)对样本表情图像进行特征提取，从而得到各个样本表情图像对应的样本初始图像特征。
步骤602，根据样本初始图像特征构建样本初始特征矩阵和样本邻接矩阵，样本初始特征矩阵中包含样本初始图像特征，样本邻接矩阵用于表示样本表情图像之间的关联关系。
其中，根据样本初始图像特征构建样本初始特征矩阵和样本邻接矩阵的过程可以参考上述实施例中，根据初始图像特征构建初始特征矩阵和邻接矩阵的过程，本实施例在此不再赘述。
步骤603，根据样本初始特征矩阵和样本邻接矩阵，通过原始图卷积网络和分类器对样本表情图像进行分类，得到样本表情类型对应的概率。
与上述实施例类似的，计算机设备将样本初始特征矩阵和样本邻接矩阵输入原始图卷积网络，由原始图卷积网络进行特征提取，并将原始图卷积网络提取到的图像特征输入分类器中，得到预测表情类型。其中，原始图卷积网络中各层卷积层对应的权重矩阵为预设矩阵。
步骤604，根据样本表情类型对应的概率，通过梯度下降算法对原始图卷积网络进行训练，得到目标图卷积网络。
对原始图卷积网络进行训练的过程即为优化各卷积层对应权重矩阵的过程。在一种可能的实施方式中，计算机设备根据分类器输出的样本表情类型对应的概率，通过梯度下降算法对各卷积层对应的权重矩阵进行权重更新，最终得到目标图卷积网络。
当然，计算机设备还可以采用反向传播算法等其他算法对原始图卷积网络进行训练，本申请实施例并不对此进行限定。
图7是本申请一个示例性实施例提供的表情分类装置的结构框图，该装置可以设置于上述实施例所述的计算机设备，如图7所示，该装置包括：
获取模块701，用于获取表情包中各个表情对应的目标表情图像；
第一特征提取模块702，用于对各个所述目标表情图像进行特征提取，得到各个所述目标表情图像对应的初始图像特征；
第一构建模块703，用于根据所述初始图像特征构建初始特征矩阵和邻接矩阵，所述初始特征矩阵中包含所述初始图像特征，所述邻接矩阵用于表示所述目标表情图像之间的关联关系；
第二特征提取模块704，用于根据所述初始特征矩阵和所述邻接矩阵提取所述表情包对应的目标图像特征；
分类模块705，用于根据所述目标图像特征对所述表情包进行分类，得到所述表情包对应的表情类型。
可选的，所述第一构建模块703，包括：
计算单元，用于根据所述初始图像特征计算各个所述目标表情图像之间的特征相似度；
构建单元，用于根据所述特征相似度构建所述表情包对应的拓扑结构图，所述拓扑结构图中包括拓扑节点以及位于所述拓扑节点之间的连接边，所述拓扑节点与所述目标表情图像对应；
生成单元，用于根据所述拓扑结构图生成所述初始特征矩阵和所述邻接矩阵。
可选的，对于任意两个目标表情图像，若所述两个目标表情图像之间的所述特征相似度大于相似度阈值，所述两个目标表情图像对应的拓扑节点之间则存在连接边；
若所述两个目标表情图像之间的所述特征相似度小于所述相似度阈值，所述两个目标表情图像对应的拓扑节点之间则不存在连接边。
可选的，所述初始图像特征包含D个特征维度，且所述拓扑结构图中包括N个所述拓扑节点；
所述构建单元，用于：
根据所述拓扑结构图中各个拓扑节点对应的所述初始图像特征生成所述初始特征矩阵，所述初始特征矩阵为N×D矩阵；
根据所述拓扑结构图中各个拓扑节点之间的连接边生成所述邻接矩阵，所述邻接矩阵为N×N矩阵。
可选的，所述邻接矩阵中第i行第i个元素的值为1；
且对于所述拓扑结构图中的第i个拓扑节点和第j个拓扑节点，若所述第i个拓扑节点和所述第j个拓扑节点之间存在连接边，所述邻接矩阵中第i行第j个元素的值为1，i不等于j；
若所述第i个拓扑节点和所述第j个拓扑节点之间不存在连接边，所述邻接矩阵中第i行第j个元素的值为0。
可选的，所述第二特征提取模块704，用于：
将所述初始特征矩阵和所述邻接矩阵输入目标图卷积网络，得到所述目标图卷积网络输出的所述目标图像特征。
可选的，所述目标图卷积网络包括L个卷积层，所述第二特征提取模块704，用于：
将第k特征矩阵和所述邻接矩阵输入所述目标图卷积网络的第k+1卷积层，得到所述第k+1卷积层输出的第k+1特征矩阵，所述第k+1特征矩阵根据所述第k特征矩阵、所述邻接矩阵以及所述第k+1卷积层对应的第k+1权重矩阵计算得到；
将所述目标图卷积网络中第L卷积层输出的第L特征矩阵确定为所述目标图像特征；
其中，0≤k≤L-1，且第0特征矩阵为所述初始特征矩阵。
可选的，所述获取模块，包括：
提取单元，用于对于所述表情包中的任一动态表情，提取所述动态表情中的各帧候选表情图像；
边缘检测单元，用于对各帧所述候选表情图像进行边缘检测，得到各帧所述候选表情图像对应的边缘图像；
确定单元，用于根据各张所述边缘图像确定所述候选表情图像中的所述目标表情图像，其中，所述目标表情图像对应边缘图像的边缘方差大于其他候选表情图像对应边缘图像的边缘方差，所述边缘方差用于指示所述边缘图像的复杂度。
可选的，所述装置还包括：
第三特征提取模块，用于对各个样本表情图像进行特征提取，得到各个所述样本表情图像对应的样本初始图像特征，各个所述样本表情图像对应同一样本表情类型；
第二构建模块，用于根据所述样本初始图像特征构建样本初始特征矩阵和样本邻接矩阵，所述样本初始特征矩阵中包含所述样本初始图像特征，所述样本邻接矩阵用于表示所述样本表情图像之间的关联关系；
预测模块，用于根据所述样本初始特征矩阵和所述样本邻接矩阵，通过原始图卷积网络和所述分类器对所述样本表情图像进行分类，得到所述样本表情类型对应的概率；
训练模块，用于根据所述样本表情类型对应的概率，通过梯度下降算法对所述原始图卷积网络进行训练，得到所述目标图卷积网络。
需要说明的是：上述实施例提供的表情分类装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的表情分类装置与表情分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图8，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备800包括中央处理单元(CPU)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。
所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元801执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元801执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一实施例所述的表情分类方法。
本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的表情分类方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方法实施例所述的表情分类方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种表情分类方法，其特征在于，所述方法包括：
获取表情包中各个表情对应的目标表情图像；
对各个所述目标表情图像进行特征提取，得到各个所述目标表情图像对应的初始图像特征；
根据所述初始图像特征计算各个所述目标表情图像之间的特征相似度；
根据所述特征相似度构建所述表情包对应的拓扑结构图，所述拓扑结构图中包括拓扑节点以及位于所述拓扑节点之间的连接边，所述拓扑节点与所述目标表情图像对应；
根据所述拓扑结构图生成初始特征矩阵和邻接矩阵，所述初始特征矩阵中包含所述初始图像特征，所述邻接矩阵用于表示所述目标表情图像之间的关联关系；
根据所述初始特征矩阵和所述邻接矩阵提取所述表情包对应的目标图像特征；
根据所述目标图像特征对所述表情包进行分类，得到所述表情包对应的表情类型。
2.根据权利要求1所述的方法，其特征在于，
对于任意两个目标表情图像，若所述两个目标表情图像之间的所述特征相似度大于相似度阈值，所述两个目标表情图像对应的拓扑节点之间则存在连接边；
若所述两个目标表情图像之间的所述特征相似度小于所述相似度阈值，所述两个目标表情图像对应的拓扑节点之间则不存在连接边。
3.根据权利要求1所述的方法，其特征在于，所述初始图像特征包含D个特征维度，且所述拓扑结构图中包括N个所述拓扑节点；
所述根据所述拓扑结构图生成所述初始特征矩阵和所述邻接矩阵，包括：
根据所述拓扑结构图中各个拓扑节点对应的所述初始图像特征生成所述初始特征矩阵，所述初始特征矩阵为N×D矩阵；
根据所述拓扑结构图中各个拓扑节点之间的连接边生成所述邻接矩阵，所述邻接矩阵为N×N矩阵。
4.根据权利要求3所述的方法，其特征在于，所述邻接矩阵中第i行第i个元素的值为1；
且对于所述拓扑结构图中的第i个拓扑节点和第j个拓扑节点，若所述第i个拓扑节点和所述第j个拓扑节点之间存在连接边，所述邻接矩阵中第i行第j个元素的值为1，i不等于j；
若所述第i个拓扑节点和所述第j个拓扑节点之间不存在连接边，所述邻接矩阵中第i行第j个元素的值为0。
5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述初始特征矩阵和所述邻接矩阵提取所述表情包对应的目标图像特征，包括：
将所述初始特征矩阵和所述邻接矩阵输入目标图卷积网络，得到所述目标图卷积网络输出的所述目标图像特征。
6.根据权利要求5所述的方法，其特征在于，所述目标图卷积网络包括L个卷积层；
所述将所述初始特征矩阵和所述邻接矩阵输入目标图卷积网络，得到所述目标图卷积网络输出的所述目标图像特征，包括：
将第k特征矩阵和所述邻接矩阵输入所述目标图卷积网络的第k+1卷积层，得到所述第k+1卷积层输出的第k+1特征矩阵，所述第k+1特征矩阵根据所述第k特征矩阵、所述邻接矩阵以及所述第k+1卷积层对应的第k+1权重矩阵计算得到；
将所述目标图卷积网络中第L卷积层输出的第L特征矩阵确定为所述目标图像特征；
其中，0≤k≤L-1，且第0特征矩阵为所述初始特征矩阵。
7.根据权利要求1至4任一所述的方法，其特征在于，所述表情包中的表情为动态表情，所述获取表情包中各个表情对应的目标表情图像，包括：
对于所述表情包中的任一动态表情，提取所述动态表情中的各帧候选表情图像；
对各帧所述候选表情图像进行边缘检测，得到各帧所述候选表情图像对应的边缘图像；
根据各张所述边缘图像确定所述候选表情图像中的所述目标表情图像，其中，所述目标表情图像对应边缘图像的边缘方差大于其他候选表情图像对应边缘图像的边缘方差，所述边缘方差用于指示所述边缘图像的复杂度。
8.根据权利要求5所述的方法，其特征在于，所述获取表情包中各个表情对应的表情图像之前，所述方法还包括：
对各个样本表情图像进行特征提取，得到各个所述样本表情图像对应的样本初始图像特征，各个所述样本表情图像对应同一样本表情类型；
根据所述样本初始图像特征构建样本初始特征矩阵和样本邻接矩阵，所述样本初始特征矩阵中包含所述样本初始图像特征，所述样本邻接矩阵用于表示所述样本表情图像之间的关联关系；
根据所述样本初始特征矩阵和所述样本邻接矩阵，通过原始图卷积网络和分类器对所述样本表情图像进行分类，得到所述样本表情类型对应的概率；
根据所述样本表情类型对应的概率，通过梯度下降算法对所述原始图卷积网络进行训练，得到所述目标图卷积网络。
9.一种表情分类装置，其特征在于，所述装置包括：
获取模块，用于获取表情包中各个表情对应的目标表情图像；
第一特征提取模块，用于对各个所述目标表情图像进行特征提取，得到各个所述目标表情图像对应的初始图像特征；
第一构建模块，用于根据所述初始图像特征计算各个所述目标表情图像之间的特征相似度；根据所述特征相似度构建所述表情包对应的拓扑结构图，所述拓扑结构图中包括拓扑节点以及位于所述拓扑节点之间的连接边，所述拓扑节点与所述目标表情图像对应；根据所述拓扑结构图生成初始特征矩阵和邻接矩阵，所述初始特征矩阵中包含所述初始图像特征，所述邻接矩阵用于表示所述目标表情图像之间的关联关系；
第二特征提取模块，用于根据所述初始特征矩阵和所述邻接矩阵提取所述表情包对应的目标图像特征；
分类模块，用于根据所述目标图像特征对所述表情包进行分类，得到所述表情包对应的表情类型。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的表情分类方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的表情分类方法。
CN201910561766.XA 2019-06-26 2019-06-26 表情分类方法、装置、计算机设备及存储介质 Active CN110276406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910561766.XA CN110276406B (zh) 2019-06-26 2019-06-26 表情分类方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910561766.XA CN110276406B (zh) 2019-06-26 2019-06-26 表情分类方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110276406A CN110276406A (zh) 2019-09-24
CN110276406B true CN110276406B (zh) 2023-09-01

Family

ID=67963339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910561766.XA Active CN110276406B (zh) 2019-06-26 2019-06-26 表情分类方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110276406B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325276A (zh) * 2020-02-24 2020-06-23 Oppo广东移动通信有限公司 图像分类方法及装置、电子设备、计算机可读存储介质
CN113411841B (zh) * 2020-03-17 2022-08-02 中国移动通信集团浙江有限公司 5g切片的割接合并方法、装置及计算设备
CN111581488B (zh) * 2020-05-14 2023-08-04 上海商汤智能科技有限公司 一种数据处理方法及装置、电子设备和存储介质
CN111768481B (zh) * 2020-05-19 2024-06-21 北京奇艺世纪科技有限公司 一种表情包生成方法及装置
CN112001414B (zh) * 2020-07-14 2024-08-06 浙江大华技术股份有限公司 聚类方法、设备及计算机存储介质
CN113408564A (zh) * 2020-10-21 2021-09-17 腾讯科技（深圳）有限公司 图处理方法、网络训练方法、装置、设备以及存储介质
CN112381147B (zh) * 2020-11-16 2024-04-26 虎博网络技术(上海)有限公司 动态图片相似度模型建立、相似度计算方法和装置
CN112699938B (zh) * 2020-12-30 2024-01-05 北京邮电大学 一种基于图卷积网络模型的分类方法及装置
CN112749762A (zh) * 2021-01-27 2021-05-04 广州华多网络科技有限公司 图像聚类方法、装置、计算机设备及存储介质
CN112967397A (zh) * 2021-02-05 2021-06-15 北京奇艺世纪科技有限公司 肢体三维建模方法、装置、虚拟现实设备及增强现实设备
CN115412518B (zh) * 2022-08-19 2024-08-16 网易传媒科技（北京）有限公司 表情发送方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810299A (zh) * 2014-03-10 2014-05-21 西安电子科技大学 基于多特征融合的图像检索方法
CN103927554A (zh) * 2014-05-07 2014-07-16 中国标准化研究院 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法
CN106951856A (zh) * 2017-03-16 2017-07-14 腾讯科技（深圳）有限公司 表情包提取方法及装置
WO2017177770A1 (zh) * 2016-04-15 2017-10-19 腾讯科技（深圳）有限公司 表情分类标识的控制方法、装置和存储介质
CN108304826A (zh) * 2018-03-01 2018-07-20 河海大学 基于卷积神经网络的人脸表情识别方法
WO2019029261A1 (zh) * 2017-08-07 2019-02-14 深圳市科迈爱康科技有限公司 微表情识别方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190042952A1 (en) * 2017-08-03 2019-02-07 Beijing University Of Technology Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User
CN109816009B (zh) * 2019-01-18 2021-08-10 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810299A (zh) * 2014-03-10 2014-05-21 西安电子科技大学 基于多特征融合的图像检索方法
CN103927554A (zh) * 2014-05-07 2014-07-16 中国标准化研究院 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法
WO2017177770A1 (zh) * 2016-04-15 2017-10-19 腾讯科技（深圳）有限公司 表情分类标识的控制方法、装置和存储介质
CN106951856A (zh) * 2017-03-16 2017-07-14 腾讯科技（深圳）有限公司 表情包提取方法及装置
WO2019029261A1 (zh) * 2017-08-07 2019-02-14 深圳市科迈爱康科技有限公司 微表情识别方法、装置及存储介质
CN108304826A (zh) * 2018-03-01 2018-07-20 河海大学 基于卷积神经网络的人脸表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于谱特征提取算法的海员表情识别方法研究;李兴捷;薄华;;电子设计工程(12);全文 *

Also Published As

Publication number Publication date
CN110276406A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN110276406B (zh) 表情分类方法、装置、计算机设备及存储介质
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN108416384B (zh) 一种图像标签标注方法、系统、设备及可读存储介质
CN109697434B (zh) 一种行为识别方法、装置和存储介质
CN109033107B (zh) 图像检索方法和装置、计算机设备和存储介质
WO2022022233A1 (zh) Ai模型更新的方法、装置、计算设备和存储介质
WO2022121485A1 (zh) 图像的多标签分类方法、装置、计算机设备及存储介质
CN108334805B (zh) 检测文档阅读顺序的方法和装置
US11507829B2 (en) Greedy approach for obtaining an artificial intelligence model in a parallel configuration
JP2017062781A (ja) 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
CN113177616B (zh) 图像分类方法、装置、设备及存储介质
CN108564102A (zh) 图像聚类结果评价方法和装置
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN114298122B (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN110781818B (zh) 视频分类方法、模型训练方法、装置及设备
CN109829065B (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN110705489B (zh) 目标识别网络的训练方法、装置、计算机设备和存储介质
CN112801063A (zh) 神经网络系统和基于神经网络系统的图像人群计数方法
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN116883751A (zh) 基于原型网络对比学习的无监督领域自适应图像识别方法
CN110135428A (zh) 图像分割处理方法和装置
CN112084371A (zh) 一种电影多标签分类方法、装置、电子设备以及存储介质
CN116883740A (zh) 相似图片识别方法、装置、电子设备和存储介质
CN112085040B (zh) 对象标签确定方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant