CN110852360A - 图像情感识别方法、装置、设备及存储介质 - Google Patents

图像情感识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110852360A
CN110852360A CN201911046043.2A CN201911046043A CN110852360A CN 110852360 A CN110852360 A CN 110852360A CN 201911046043 A CN201911046043 A CN 201911046043A CN 110852360 A CN110852360 A CN 110852360A
Authority
CN
China
Prior art keywords
image
emotion
semantic
category
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911046043.2A
Other languages
English (en)
Inventor
谯睿智
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911046043.2A priority Critical patent/CN110852360A/zh
Publication of CN110852360A publication Critical patent/CN110852360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机技术领域，尤其涉及一种图像情感识别方法、装置、设备及存储介质。本发明将图像的语义信息与情感信息解耦，为每个语义类别构建对应的情感识别子模型，应用时，首先使用语义识别子模型识别图像的语义类别，根据语义类别识别结果确定目标语义类别，然后根据语义类别与情感识别子模型的对应关系确定与目标语义类别对应的目标情感识别子模型，使用该目标情感识别子模型进行情感识别，获得图像的情感识别结果，可大幅提升图像情感识别精度。

Description

图像情感识别方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像情感识别方法、装置、设备及存储介质。
背景技术
目前，基于深度学习的图像情感识别方法主要是把图像语义的标签换成情感标签，然后训练一种神经网络来拟合这些情感标签，如图2所示，该图像情感识别与内容识别的流程一样，不同之处在于将语义标签换成了情感标签，其对图像情感识别的准确度不高。
发明内容
本发明提供了一种图像情感识别方法、装置、设备及存储介质，通过将图像的语义信息与情感信息解耦，可以大幅提升图像情感识别效果。
一方面，本发明提供一种图像情感识别方法，包括：
获取待识别图像；
将所述待识别图像输入图像情感识别模型中，通过图像情感识别模型的语义识别子模型对所述待识别图像进行语义类别分析，得到所述待识别图像的深度图像特征和所述待识别图像属于各语义类别的概率；
基于所述待识别图像属于各语义类别的概率确定所述待识别图像所属目标语义类别；
根据所述目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型；
将所述目标语义类别和所述深度图像特征输入所述目标情感识别子模型进行情感类别分析，得到所述待识别图像属于各情感类别的概率；
基于所述待识别图像属于各情感类别的概率确定所述待识别图像的情感识别结果。
另一方面，本发明提供一种图像情感识别装置，包括：
待识别图像获取模块，用于获取待识别图像；
语义类别分析模块，用于将所述待识别图像输入图像情感识别模型中，通过图像情感识别模型的语义识别子模型对所述待识别图像进行语义类别分析，得到所述待识别图像的深度图像特征和所述待识别图像属于各语义类别的概率；
目标语义类别确定模块，用于基于所述待识别图像属于各语义类别的概率确定所述待识别图像所属目标语义类别；
目标情感识别子模型确定模块，用于根据所述目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型；
情感类型分析模块，用于将所述目标语义类别和所述深度图像特征输入所述目标情感识别子模型进行情感类别分析，得到所述待识别图像属于各情感类别的概率；
情感识别结果确定模块，用于基于所述待识别图像属于各情感类别的概率确定所述待识别图像的情感识别结果。
优选地，所述目标语义类别确定模块，还用于将所述待识别图像属于的各语义类别中概率最大的一类语义类别确定为所述目标语义类别。
优选地，所述目标情感识别子模型确定模块，还用于根据语义类别与情感识别子模型的映射关系，将与所述目标语义类别相同的语义类别所对应的情感识别子模型作为所述目标情感识别子模型。
所述情感识别结果确定模块，还用于对所述待识别图像属于的各情感类别按照概率大小排序，选择排序在前的预设个数的情感类别作为所述待识别图像的情感识别结果。
优选地，所述图像情感识别模型按照以下方式训练得到：
获取样本图像集合，所述样本图像集合中每个样本图像具有语义类别标签和情感类别标签；
基于所述样本图像和所述样本图像的语义类别标签对第一初始深度学习模型进行图像的语义识别训练，得到语义识别子模型；
为每个语义类别定义对应的第二初始深度学习模型；
基于语义类别标签对所述样本图像集进行分类，得到各个语义类别对应的样本子集；
根据所述样本子集训练与所述样本子集对应相同语义类别的第二初始深度学习模型，得到与所述语义类别对应的情感识别子模型。
在一个可行的实施方式中，所述基于所述样本图像和所述样本图像的语义类别标签对第一初始深度学习模型进行图像的语义识别训练，得到语义识别子模型，包括：
将所述样本图像和所述样本图像的语义类别标签输入第一初始深度学习模型；
对所述样本图像进行前向计算，得到所述样本图像属于语义类别的预测概率；
基于所述样本图像属于语义类别的预测概率确定所述样本图像的语义类别预测结果；
将所述语义类别预测结果与所述语义类别标签进行对比，计算得到语义类别损失值；
将所述语义类别损失值反向传播到第一初始深度学习模型中，通过随机梯度下降法调整第一初始深度学习模型的权重参数；
将所述样本图像和所述样本图像的语义类别标签输入更新权重参数后的第一初始深度学习模型，重复上述调整权重参数步骤至当前调整权重参数的第一初始深度学习模型满足预设的第一收敛条件；
将当前调整权重参数后的第一初始深度学习模型作为所述语义识别子模型。
在一个可行的实施方式中，所述根据所述样本子集训练与所述样本子集对应相同语义类别的第二初始深度学习模型，得到与所述语义类别对应的情感识别子模型，包括：
为每个第二初始深度学习模型确定目标样本图像，所述目标样本图像为与所述第二初始深度学习模型对应相同语义类别的样本子集中的所有样本图像；
将所述目标样本图像输入所述语义识别子模型，提取所述语义识别子模型的结果输出层的前一层特征层的输出作为所述目标样本图像的深度图像特征；
将所述目标样本图像的深度图像特征和情感类别标签输入对应的第二初始深度学习模型；对所述目标样本图像的深度图像特征进行前向计算，得到所述目标样本图像属于情感类别的预测概率；基于所述目标样本图像属于情感类别的预测概率确定所述目标样本图像的情感类别预测结果；将所述情感类别预测结果与所述情感类别标签进行对比，计算得到情感类别损失值；将所述情感类别损失值反向传播到第二初始深度学习模型中，通过随机梯度下降法调整第二初始深度学习模型的权重参数；将所述目标样本图像和所述目标样本图像的情感类别标签输入更新权重参数后的第二初始深度学习模型，重复上述调整权重参数的第一初始深度学习模型满足预设的第二收敛条件；将当前调整权重参数后的第二初始深度学习模型作为与所述情感类别对应的情感识别子模型；
重复执行上述训练情感识别子模型的步骤至所有第二初始深度学习模型训练完毕，获得多个与语义类别一一对应的情感识别子模型。
另一方面，本发明提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的图像情感识别方法。
另一方面，本发明提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的图像情感识别方法。
本发明提供的一种图像情感识别方法、装置、设备及存储介质，具有如下有益效果：
本发明将图像的语义信息与情感信息解耦，为每个语义类别构建对应的情感识别子模型，应用时，首先使用语义识别子模型识别图像的语义类别，根据语义类别识别结果确定目标语义类别，然后根据语义类别与情感识别子模型的对应关系确定与目标语义类别对应的目标情感识别子模型，使用该目标情感识别子模型进行情感识别，获得图像的情感识别结果。本发明将语义信息与情感信息解耦，使得算法更容易学习到图像的情感信息而不被语义信息干扰，可大幅提升图像情感识别的效果；使用专门的情感识别子模型进行情感识别，可以在相似的语义特征中找出具有微妙差别的情感特征，从而提高情感识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是语义相似但情感不同的图像对比；
图2是现有的图像情感识别网络架构示意图；
图3是本申请实施例提供的一种图像情感识别方法的实施环境示意图；
图4是本发明实施例提供的一种图像情感识别方法的流程示意图；
图5是本发明实施例提供的图像情感识别模型的训练过程示意图；
图6是本发明实施例提供的语义识别子模型的训练过程示意图；
图7是本发明实施例提供的情感识别子模型的训练过程示意图；
图8是本发明实施例提供的图像情感识别网络架构示意图；
图9是本发明实施例提供的图像情感识别方法的一种应用场景示意图；
图10是本发明实施例提供的图像情感识别装置的结构示意图；
图11是本发明实施例提供的一种服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于说明本发明实施例中的方法的优势，在本发明实施例的技术方案详述伊始，首先对现有技术的相关内容进行分析：
现有的基于深度学习的图像情感识别方法的流水线和语义内容识别没有本质区别，主要是通过直接学习情感标签达到识别图像情感的目的，在训练图像充足且标注准确时，此方法有一定效果。然而，虽然卷积神经网络善于提取图像内容信息，但是人类的情感是复杂多变的，图像内容和图像情感之间的关联性极端复杂，含有相似的语义特征的图片往往因为微小差别就能传递完全不同的情感，导致神经网络提取的视觉特征并不能准确反映情感上，从而影响模型的精度。例如如图1第一排中，尽管都是一只老鼠的图像，左边的老鼠引起让人觉得可爱的正面情绪，中间的是中立情绪，右边的却是让人感到恶心害怕的负面情绪。
归结原因，卷积神经网络提取的是形状、纹理等和客观语义强相关的视觉特征，而情感是主观且复杂的：一种情感可以对应多种差别巨大的语义特征，一种语义特征也会多种情感类型共享。如图1所示，横排图像的情感左边偏正面、中间偏中立、右边偏负面，但是从竖排看同样情感的图像却几乎找不到的共同视觉特征。这就造成了现有方案的情感标签体系中，类内方差大，类间交叉大，导致模型无法有效学习到显著的情感特征，识别效果有限。因此，只有对图片的复杂情感和语义关系解耦，才可能正确识别情感特征而不被无关的语义特征干扰。
鉴于现有技术的不足，本发明实施例提供一种图像情感识别方案，采用将图像情感和语义解耦的思路，把网络结构分解为语义网络和情感网络，分别采用不同的标签体系；首先使用语义网络预测图像的语义标签(即图像包含什么内容)；这样预测出来的同一类语义标签的图片具有相似的语义特征；然后对每个语义类别中的图片，使用一个专门语义的情感网络预测情感标签，并以它们在语义网络分类层之前的特征层的输出作为情感网络的输入特征，该特征层可以为全连接层或者卷积层；专门语义的情感网络可以在相似的语义特征中找出微妙差别的情感特征，进而提高识别精度。下面结合附图对本发明实施例中的技术方案进行清楚、完整的描述。
图3是本申请实施例提供的一种图像情感识别方法的实施环境示意图；请参考图3，该实施环境包括：客户端01、服务器03。
客户端01可以包括：智能手机、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端等类型的实体设备，也可以包括运行于实体设备中的软体，例如具有图像情感识别功能的应用程序等。所述客户端01可以基于浏览器/服务器模式(Browser/Server，B/S)或客户端/服务器模式(Client/Server，C/S)与所述服务器03通信连接。
所述客户端01可以向服务器03发送待识别图像，所述服务器03可以基于预设的图像情感识别模型，利用图像情感识别模型的语义识别子模型对待识别图像进行语义类别分析得到目标语义类别，再根据目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型，利用目标情感识别子模型进行情感类别分析，输出待识别图像的情感识别结果，将所述情感识别结果传输至客户端01。在一个优选的实施例中，所述服务器03还可以根据样本图像集合训练初始深度模型以获得图像情感识别模型。
所述服务器03可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。
图4是本发明实施例提供的一种图像情感识别方法的流程示意图，该流程可以由图3所示的服务器执行实现，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参见图4，本申请实施例提供的图像情感识别方法包括：
S401、获取待识别图像。
所述待识别图像包含能够关联语义和情感的图像，如图1所示的图像，不同图像呈现的内容可以关联不同的语义和情感。
S403、将所述待识别图像输入图像情感识别模型中，通过图像情感识别模型的语义识别子模型对所述待识别图像进行语义类别分析，得到所述待识别图像的深度图像特征和所述待识别图像属于各语义类别的概率。
S405、基于所述待识别图像属于各语义类别的概率确定所述待识别图像所属目标语义类别。
在一个可行的实施例中，确定待识别图像所属目标语义类别可以为：将所述待识别图像属于的各语义类别中概率最大的一类语义类别确定为所述目标语义类别。
S407、根据所述目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型。
具体的，可以根据语义类别与情感识别子模型的映射关系，将与所述目标语义类别相同的语义类别所对应的情感识别子模型作为所述目标情感识别子模型。
S409、将所述目标语义类别和所述深度图像特征输入所述目标情感识别子模型进行情感类别分析，得到所述待识别图像属于各情感类别的概率。
S411、基于所述待识别图像属于各情感类别的概率确定所述待识别图像的情感识别结果。
在一个可行的实施例中，确定所述待识别图像的情感识别结果可以包括：对所述待识别图像属于的各情感类别按照概率大小排序，选择排序在前的预设个数的情感类别作为所述待识别图像的情感识别结果。
图8是本发明实施例提供的图像情感识别网络架构示意图，如图8所示，图像情感识别模型可以包括语义识别子模型、激活选择模块和情感识别子模型分支，其中，语义识别子模型用于对输入图像进行语义识别，输出该图像属于M个语义类别标签中各语义类别标签的概率以及该图像的深度图像特征，所述激活选择模块用于基于各语义类别标签的概率确定图像的目标语义类别标签，并从M个情感识别子模型中确定与目标语义类别标签对应相同语义类别的情感识别子模型作为目标情感识别子模型，将图像特征和目标语义类别标签输入目标情感识别子模型，输出得到图像的情感识别结果。
其中，所述情感识别模型的语义识别子模型和情感识别子模型均采用深度卷积神经网络。深度卷积神经网络是近年来计算机视觉和机器学习邻域中最成功的技术之一，通过多个卷积层(包括与之相关的池化层，Batch Normalization层，激活函数层，残差层等)提取图像(或特征映射)的空间信息并多层抽象，能够取得远超传统计算机视觉方法的识别效果。深度卷积神经网络学习到具有良好迁移性的特征，即训练好的模型的最后输出的分类层或回归层之前的每一层的输出都可以作为另外一个机器学习任务的输入特征。由于深度特征通过大数据训练后能够提取高度抽象的图像信息，它通常能取得比手工特征更好的效果。
图5是本发明实施例提供的图像情感识别模型的训练过程示意图。请参见图5，所述图像情感识别模型可以按照以下方式训练得到：
S501、获取样本图像集合，所述样本图像集合中每个样本图像具有语义类别标签和情感类别标签。
不同于传统图片情感识别，本发明同时使用情感类别标签和语义类别标签；情感类别标签可以根据应用场景分为粗粒度的正面、中立、负面，也可以分为细粒度的快乐、生气、敬畏、满足、恶心、兴奋、恐惧、悲伤等；语义类别标签可以是人工标注的具有共同的视觉特征的类型，如人物、动物、食物、交通工具等，没有条件标注时也可以通过聚类算法(如k-means、spectral clustering等)对训练图像聚类，自动划分出具有具有共同的视觉特征的语义类别标签。
S503、基于所述样本图像和所述样本图像的语义类别标签对第一初始深度学习模型进行图像的语义识别训练，得到语义识别子模型。
语义识别子模型的作用有两个：1)预测输入图像的语义类别标签，2)提取输入图像的深度语义特征。通过语义类别标签的交叉熵为目标函数训练，语义识别子模型可以学习到有区分性的语义特征，即不同语义类的图片的语义特征之间有较大差异而相同语义类的图片的语义特征比较相似。本发明使用的语义网络用的是主流的ResNet-50架构，输出倒数第二层2048维的语义特征，但是实际应用中可以使用任何卷积神经网络或提取任何一层的语义特征。定义输入图像为x,语义网络参数为θ，则输出特征：s＝f(x；θ)∈Rn,其中n为特征的维度；输出语义类别标签的概率表示为z＝p(x；θ)∈RM。
在一个可行的实施例中，所述语义识别子模型可以通过如图6所示的训练过程获得，请参见图6，包括：
S601、将所述样本图像和所述样本图像的语义类别标签输入第一初始深度学习模型；
S603、对所述样本图像进行前向计算，得到所述样本图像属于语义类别的预测概率；
S605、基于所述样本图像属于语义类别的预测概率确定所述样本图像的语义类别预测结果；
S607、将所述语义类别预测结果与所述语义类别标签进行对比，计算得到语义类别损失值；
S609、将所述语义类别损失值反向传播到第一初始深度学习模型中，通过随机梯度下降法调整第一初始深度学习模型的权重参数；
将所述样本图像和所述样本图像的语义类别标签输入更新权重参数后的第一初始深度学习模型，重复上述调整权重参数步骤至当前调整权重参数的第一初始深度学习模型满足预设的第一收敛条件；
S611、将当前调整权重参数后的第一初始深度学习模型作为所述语义识别子模型。
S505、为每个语义类别定义对应的第二初始深度学习模型。
本发明实施例定义或聚类M个语义标签，要求定义的语义标签中的训练图像在视觉上有共同的语义特征，或者通过聚类使得每个聚类簇的训练图像有共同的语义特征。为个语义类别设置对应的第二初始深度学习模型。
S507、基于语义类别标签对所述样本图像集进行分类，得到各个语义类别对应的样本子集。
S509、根据所述样本子集训练与所述样本子集对应相同语义类别的第二初始深度学习模型，得到与所述语义类别对应的情感识别子模型。
本发明使用多个同构的情感识别子模型分支(即所有分支的架构和输出标签体系完全一致，只有网络参数有差别)通过一个激活选择层与语义网络的特征输出层连接，每个情感识别子模型对应一个语义类别。当图像输入语义识别子模型后，输出预测语义类别标签和图像深度特征。根据预测的语义类别标签，通过激活选择层选择激活概率最高的语义类别标签对应的情感识别子模型。被激活的情感识别子模型以语义识别子模型的输出深度特征为输入，最后通过情感识别子模型输出预测的情感类别标签。本发明使用的情感识别子模型为包含两个隐藏层的多层感知器，两个隐藏层维度分别为2048和1024，但是实际应用中可以使用任何神经网络架构。定义第i个情感网络分支qi的参数为ωi，则情感类别的概率可表示为y＝qi(s；ωi)∈RM，
Figure BDA0002254168330000121
图7是本发明实施例提供的情感识别子模型的训练过程示意图，请参见图7，所述情感识别子模型的训练过程包括：
S701、为每个第二初始深度学习模型确定目标样本图像，所述目标样本图像为与所述第二初始深度学习模型对应相同语义类别的样本子集中的所有样本图像。
S703、将所述目标样本图像输入所述语义识别子模型，提取所述语义识别子模型的结果输出层的前一层特征层的输出作为所述目标样本图像的深度图像特征。
S705、将所述目标样本图像的深度图像特征和情感类别标签输入对应的第二初始深度学习模型进行情感识别训练，获得与所述情感类别对应的情感识别子模型。
在一个可行的实施例中，可以将所述目标样本图像的深度图像特征和情感类别标签输入对应的第二初始深度学习模型；对所述目标样本图像的深度图像特征进行前向计算，得到所述目标样本图像属于情感类别的预测概率；基于所述目标样本图像属于情感类别的预测概率确定所述目标样本图像的情感类别预测结果；将所述情感类别预测结果与所述情感类别标签进行对比，计算得到情感类别损失值；将所述情感类别损失值反向传播到第二初始深度学习模型中，通过随机梯度下降法调整第二初始深度学习模型的权重参数；将所述目标样本图像和所述目标样本图像的情感类别标签输入更新权重参数后的第二初始深度学习模型，重复上述调整权重参数的第一初始深度学习模型满足预设的第二收敛条件；将当前调整权重参数后的第二初始深度学习模型作为与所述情感类别对应的情感识别子模型；重复执行上述训练情感识别子模型的步骤至所有第二初始深度学习模型训练完毕，获得与语义类别对应的情感识别子模型。
本发明实施例用标注或聚类的语义类别标签训练语义识别子模型，可以使用各种标准的训练方法，如SGD，ADAM等，损失函数为交叉熵。语义识别子模型训练完成后，根据其输出的语义类别标签和图像深度特征，分别训练对应的情感识别子模型，即每个语义类别标签使用它包含的训练图像的深度特征和情感类别标签来训练相应的情感识别子模型，可以使用各种标准的训练方法，如SGD，ADAM等，损失函数为交叉熵。
采用本发明方案后，可以有效降低图像情感识别模型的训练难度，提高预测准确率。
用户在浏览应用程序或网页推荐的图文内容时，由于手机屏幕上图像占比较大，如果错误推荐了引起负面情绪的图像将会极大地影响用户体验。如图9的手机截屏图像中，页面的框选区域推荐了令人不适的图片，严重影响用户体验。本发明方案可应用于图像审核项目中的恶心反感图像的识别，帮助过滤负面情感图像和推荐正面情感图像，如过滤掉图9框选的图像。本发明可自动审核应用程序或网页上每天上传的图片，有效过滤掉引起恶心、恐惧、反感等负面情感的图片，提升产品的用户体验，同时减少人工审核的工作量。
近年来深度学习对图像的内容或语义信息的识别效果取得了巨大进步，使得该技术在互联网图像相关业务中得到了充分应用。然而和语义信息相对的图像情感信息识别却没有因为利用深度学习而得到大范围的效果提升。究其原因，是图像表达的语义内容和视觉特征是强相关的，而情感内容和视觉特征的关系则更加微妙和不明显，导致深度学习算法无法有效学习到和情感相关的视觉特征，进而无法提升识别效果。
对此，本发明实施例还提供了一种图像情感识别装置，图10是本发明实施例提供的图像情感识别装置的结构示意图，如图10所示，所述装置包括：
待识别图像获取模块1010，用于获取待识别图像；
语义类别分析模块1020，用于将所述待识别图像输入图像情感识别模型中，通过图像情感识别模型的语义识别子模型对所述待识别图像进行语义类别分析，得到所述待识别图像的深度图像特征和所述待识别图像属于各语义类别的概率；
目标语义类别确定模块1030，用于基于所述待识别图像属于各语义类别的概率确定所述待识别图像所属目标语义类别；
目标情感识别子模型确定模块1040，用于根据所述目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型；
情感类型分析模块1050，用于将所述目标语义类别和所述深度图像特征输入所述目标情感识别子模型进行情感类别分析，得到所述待识别图像属于各情感类别的概率；
情感识别结果确定模块1060，用于基于所述待识别图像属于各情感类别的概率确定所述待识别图像的情感识别结果。
优选地，所述目标语义类别确定模块1030，还用于将所述待识别图像属于的各语义类别中概率最大的一类语义类别确定为所述目标语义类别。
优选地，所述目标情感识别子模型确定模块1040，还用于根据语义类别与情感识别子模型的映射关系，将与所述目标语义类别相同的语义类别所对应的情感识别子模型作为所述目标情感识别子模型。
所述情感识别结果确定模块1060，还用于对所述待识别图像属于的各情感类别按照概率大小排序，选择排序在前的预设个数的情感类别作为所述待识别图像的情感识别结果。
在一个可行的实施例中，所述图像情感识别模型按照以下方式训练得到：
获取样本图像集合，所述样本图像集合中每个样本图像具有语义类别标签和情感类别标签；
基于所述样本图像和所述样本图像的语义类别标签对第一初始深度学习模型进行图像的语义识别训练，得到语义识别子模型；
为每个语义类别定义对应的第二初始深度学习模型；
基于语义类别标签对所述样本图像集进行分类，得到各个语义类别对应的样本子集；
根据所述样本子集训练与所述样本子集对应相同语义类别的第二初始深度学习模型，得到与所述语义类别对应的情感识别子模型。
在一个可行的实施方式中，所述基于所述样本图像和所述样本图像的语义类别标签对第一初始深度学习模型进行图像的语义识别训练，得到语义识别子模型，包括：
将所述样本图像和所述样本图像的语义类别标签输入第一初始深度学习模型；
对所述样本图像进行前向计算，得到所述样本图像属于语义类别的预测概率；
基于所述样本图像属于语义类别的预测概率确定所述样本图像的语义类别预测结果；
将所述语义类别预测结果与所述语义类别标签进行对比，计算得到语义类别损失值；
将所述语义类别损失值反向传播到第一初始深度学习模型中，通过随机梯度下降法调整第一初始深度学习模型的权重参数；
将所述样本图像和所述样本图像的语义类别标签输入更新权重参数后的第一初始深度学习模型，重复上述调整权重参数步骤至当前调整权重参数的第一初始深度学习模型满足预设的第一收敛条件；
将当前调整权重参数后的第一初始深度学习模型作为所述语义识别子模型。
在一个可行的实施方式中，所述根据所述样本子集训练与所述样本子集对应相同语义类别的第二初始深度学习模型，得到与所述语义类别对应的情感识别子模型，包括：
为每个第二初始深度学习模型确定目标样本图像，所述目标样本图像为与所述第二初始深度学习模型对应相同语义类别的样本子集中的所有样本图像；
将所述目标样本图像输入所述语义识别子模型，提取所述语义识别子模型的结果输出层的前一层特征层的输出作为所述目标样本图像的深度图像特征；
将所述目标样本图像的深度图像特征和情感类别标签输入对应的第二初始深度学习模型；对所述目标样本图像的深度图像特征进行前向计算，得到所述目标样本图像属于情感类别的预测概率；基于所述目标样本图像属于情感类别的预测概率确定所述目标样本图像的情感类别预测结果；将所述情感类别预测结果与所述情感类别标签进行对比，计算得到情感类别损失值；将所述情感类别损失值反向传播到第二初始深度学习模型中，通过随机梯度下降法调整第二初始深度学习模型的权重参数；将所述目标样本图像和所述目标样本图像的情感类别标签输入更新权重参数后的第二初始深度学习模型，重复上述调整权重参数的第一初始深度学习模型满足预设的第二收敛条件；将当前调整权重参数后的第二初始深度学习模型作为与所述情感类别对应的情感识别子模型；
重复执行上述训练情感识别子模型的步骤至所有第二初始深度学习模型训练完毕，获得多个与语义类别一一对应的情感识别子模型。
所述的图像情感识别装置与方法实施例基于同样地发明构思。
本发明将图像的语义信息与情感信息解耦，为每个语义类别构建对应的情感识别子模型，应用时，首先使用语义识别子模型识别图像的语义类别，根据语义类别识别结果确定目标语义类别，然后根据语义类别与情感识别子模型的对应关系确定与目标语义类别对应的目标情感识别子模型，使用该目标情感识别子模型进行情感识别，获得图像的情感识别结果。本发明将语义信息与情感信息解耦，使得算法更容易学习到图像的情感信息而不被语义信息干扰，可大幅提升图像情感识别的效果；使用专门的情感识别子模型进行情感识别，可以在相似的语义特征中找出具有微妙差别的情感特征，从而提高情感识别精度。
目前，应用程序在给用户推荐图文内容时，对图片除了一般的审核之外，还把到图片是否带有负面情感(引起人不适的恶心反感恐惧等负面情绪)作为一个重要指标。而应用程序每天需要处理千万以上的图片，完全依赖人工审核是非常昂贵和低效的。本发明基于深度学习技术，将图像的语义信息和情感信息解耦，使得算法更容易学习到图像的情感信息而不被语义信息干扰，较大提升了图像情感识别的效果。本发明应用在应用程序恶心反感图像识别中，可以大幅加快图像审核的效率，降低运营成本，提高用户体验。
本发明实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的图像情感识别方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图11是本发明实施例提供的一种服务器的硬件结构框图。如图11所示，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1110(处理器1110可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1130，一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中，存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1110可以设置为与存储介质1120通信，在服务器1100上执行存储介质1120中的一系列指令操作。服务器1100还可以包括一个或一个以上电源1160，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1140，和/或，一个或一个以上操作系统1121，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1100的通信供应商提供的无线网络。在一个实例中，输入输出接口1140包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1140可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1100还可包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置。
本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种图像情感识别方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的图像情感识别方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络客户端中的至少一个网络客户端。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像情感识别方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入图像情感识别模型中，通过图像情感识别模型的语义识别子模型对所述待识别图像进行语义类别分析，得到所述待识别图像的深度图像特征和所述待识别图像属于各语义类别的概率；
基于所述待识别图像属于各语义类别的概率确定所述待识别图像所属目标语义类别；
根据所述目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型；
将所述目标语义类别和所述深度图像特征输入所述目标情感识别子模型进行情感类别分析，得到所述待识别图像属于各情感类别的概率；
基于所述待识别图像属于各情感类别的概率确定所述待识别图像的情感识别结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述待识别图像属于各语义类别的概率确定所述待识别图像所属目标语义类别，包括：
将所述待识别图像属于的各语义类别中概率最大的一类语义类别确定为所述目标语义类别。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型，包括：
根据语义类别与情感识别子模型的映射关系，将与所述目标语义类别相同的语义类别所对应的情感识别子模型作为所述目标情感识别子模型。
4.根据权利要求1所述的方法，其特征在于，所述基于所述待识别图像属于各情感类别的概率确定所述待识别图像的情感识别结果，包括：
对所述待识别图像属于的各情感类别按照概率大小排序，选择排序在前的预设个数的情感类别作为所述待识别图像的情感识别结果。
5.根据权利要求1所述的方法，其特征在于，所述图像情感识别模型按照以下方式训练得到：
获取样本图像集合，所述样本图像集合中每个样本图像具有语义类别标签和情感类别标签；
基于所述样本图像和所述样本图像的语义类别标签对第一初始深度学习模型进行图像的语义识别训练，得到语义识别子模型；
为每个语义类别定义对应的第二初始深度学习模型；
基于语义类别标签对所述样本图像集进行分类，得到各个语义类别对应的样本子集；
根据所述样本子集训练与所述样本子集对应相同语义类别的第二初始深度学习模型，得到与所述语义类别对应的情感识别子模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述样本图像和所述样本图像的语义类别标签对第一初始深度学习模型进行图像的语义识别训练，得到语义识别子模型，包括：
将所述样本图像和所述样本图像的语义类别标签输入第一初始深度学习模型；
对所述样本图像进行前向计算，得到所述样本图像属于语义类别的预测概率；
基于所述样本图像属于语义类别的预测概率确定所述样本图像的语义类别预测结果；
将所述语义类别预测结果与所述语义类别标签进行对比，计算得到语义类别损失值；
将所述语义类别损失值反向传播到第一初始深度学习模型中，通过随机梯度下降法调整第一初始深度学习模型的权重参数；
将所述样本图像和所述样本图像的语义类别标签输入更新权重参数后的第一初始深度学习模型，重复上述调整权重参数步骤至当前调整权重参数的第一初始深度学习模型满足预设的第一收敛条件；
将当前调整权重参数后的第一初始深度学习模型作为所述语义识别子模型。
7.根据权利要求5所述的方法，其特征在于，所述根据所述样本子集训练与所述样本子集对应相同语义类别的第二初始深度学习模型，得到与所述语义类别对应的情感识别子模型，包括：
为每个第二初始深度学习模型确定目标样本图像，所述目标样本图像为与所述第二初始深度学习模型对应相同语义类别的样本子集中的所有样本图像；
将所述目标样本图像输入所述语义识别子模型，提取所述语义识别子模型的结果输出层的前一层特征层的输出作为所述目标样本图像的深度图像特征；
将所述目标样本图像的深度图像特征和情感类别标签输入对应的第二初始深度学习模型；对所述目标样本图像的深度图像特征进行前向计算，得到所述目标样本图像属于情感类别的预测概率；基于所述目标样本图像属于情感类别的预测概率确定所述目标样本图像的情感类别预测结果；将所述情感类别预测结果与所述情感类别标签进行对比，计算得到情感类别损失值；将所述情感类别损失值反向传播到第二初始深度学习模型中，通过随机梯度下降法调整第二初始深度学习模型的权重参数；将所述目标样本图像和所述目标样本图像的情感类别标签输入更新权重参数后的第二初始深度学习模型，重复上述调整权重参数的第一初始深度学习模型满足预设的第二收敛条件；将当前调整权重参数后的第二初始深度学习模型作为与所述情感类别对应的情感识别子模型；
重复执行上述训练情感识别子模型的步骤至所有第二初始深度学习模型训练完毕，获得多个与语义类别一一对应的情感识别子模型。
8.一种图像情感识别装置，其特征在于，包括：
待识别图像获取模块，用于获取待识别图像；
语义类别分析模块，用于将所述待识别图像输入图像情感识别模型中，通过图像情感识别模型的语义识别子模型对所述待识别图像进行语义类别分析，得到所述待识别图像的深度图像特征和所述待识别图像属于各语义类别的概率；
目标语义类别确定模块，用于基于所述待识别图像属于各语义类别的概率确定所述待识别图像所属目标语义类别；
目标情感识别子模型确定模块，用于根据所述目标语义类别从图像情感识别模型的多个情感识别子模型中确定目标情感识别子模型；
情感类型分析模块，用于将所述目标语义类别和所述深度图像特征输入所述目标情感识别子模型进行情感类别分析，得到所述待识别图像属于各情感类别的概率；
情感识别结果确定模块，用于基于所述待识别图像属于各情感类别的概率确定所述待识别图像的情感识别结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的图像情感识别方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的图像情感识别方法。
CN201911046043.2A 2019-10-30 2019-10-30 图像情感识别方法、装置、设备及存储介质 Pending CN110852360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046043.2A CN110852360A (zh) 2019-10-30 2019-10-30 图像情感识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046043.2A CN110852360A (zh) 2019-10-30 2019-10-30 图像情感识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110852360A true CN110852360A (zh) 2020-02-28

Family

ID=69599106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046043.2A Pending CN110852360A (zh) 2019-10-30 2019-10-30 图像情感识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110852360A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368789A (zh) * 2020-03-18 2020-07-03 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN111860237A (zh) * 2020-07-07 2020-10-30 中国科学技术大学 一种视频情感片段的识别方法及装置
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法
CN112488214A (zh) * 2020-12-02 2021-03-12 浙江大华技术股份有限公司 一种图像情感分析方法以及相关装置
CN112801237A (zh) * 2021-04-15 2021-05-14 北京远鉴信息技术有限公司 暴恐内容识别模型的训练方法、训练装置及可读存储介质
CN113243018A (zh) * 2020-08-01 2021-08-10 商汤国际私人有限公司 目标对象的识别方法和装置
CN113449776A (zh) * 2021-06-04 2021-09-28 中南民族大学 基于深度学习的中草药识别方法、装置及存储介质
CN114066835A (zh) * 2021-11-08 2022-02-18 鲁班嫡系机器人（深圳）有限公司 图像检测、自动光学检测方法、装置、存储介质及设备
CN114757310A (zh) * 2022-06-16 2022-07-15 山东海量信息技术研究院 情感识别模型及其训练方法、装置、设备及可读存储介质
CN116383426A (zh) * 2023-05-30 2023-07-04 深圳大学 基于属性的视觉情感识别方法、装置、设备及存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368789A (zh) * 2020-03-18 2020-07-03 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
WO2021184776A1 (zh) * 2020-03-18 2021-09-23 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN111368789B (zh) * 2020-03-18 2023-05-26 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN111860237A (zh) * 2020-07-07 2020-10-30 中国科学技术大学 一种视频情感片段的识别方法及装置
CN111860237B (zh) * 2020-07-07 2022-09-06 中国科学技术大学 一种视频情感片段的识别方法及装置
CN113243018A (zh) * 2020-08-01 2021-08-10 商汤国际私人有限公司 目标对象的识别方法和装置
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法
CN112365464B (zh) * 2020-11-09 2021-08-10 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法
WO2022116771A1 (en) * 2020-12-02 2022-06-09 Zhejiang Dahua Technology Co., Ltd. Method for analyzing emotion shown in image and related devices
CN112488214A (zh) * 2020-12-02 2021-03-12 浙江大华技术股份有限公司 一种图像情感分析方法以及相关装置
CN112801237A (zh) * 2021-04-15 2021-05-14 北京远鉴信息技术有限公司 暴恐内容识别模型的训练方法、训练装置及可读存储介质
CN113449776A (zh) * 2021-06-04 2021-09-28 中南民族大学 基于深度学习的中草药识别方法、装置及存储介质
CN114066835A (zh) * 2021-11-08 2022-02-18 鲁班嫡系机器人（深圳）有限公司 图像检测、自动光学检测方法、装置、存储介质及设备
CN114757310A (zh) * 2022-06-16 2022-07-15 山东海量信息技术研究院 情感识别模型及其训练方法、装置、设备及可读存储介质
CN114757310B (zh) * 2022-06-16 2022-11-11 山东海量信息技术研究院 情感识别模型及其训练方法、装置、设备及可读存储介质
CN116383426A (zh) * 2023-05-30 2023-07-04 深圳大学 基于属性的视觉情感识别方法、装置、设备及存储介质
CN116383426B (zh) * 2023-05-30 2023-08-22 深圳大学 基于属性的视觉情感识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110852360A (zh) 图像情感识别方法、装置、设备及存储介质
CN112632385B (zh) 课程推荐方法、装置、计算机设备及介质
CN109063163B (zh) 一种音乐推荐的方法、装置、终端设备和介质
CN110533097B (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
CN109447140B (zh) 一种基于神经网络深度学习的图像识别并推荐认知的方法
CN110532996A (zh) 视频分类的方法、信息处理的方法以及服务器
CN110321422A (zh) 在线训练模型的方法、推送方法、装置以及设备
CN112307762B (zh) 搜索结果的排序方法及装置、存储介质、电子装置
CN110008397B (zh) 一种推荐模型训练方法及装置
CN109918501A (zh) 新闻文章分类的方法、装置、设备及存储介质
CN111160191A (zh) 一种视频关键帧提取方法、装置及存储介质
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN112016450A (zh) 机器学习模型的训练方法、装置和电子设备
CN111914159A (zh) 一种信息推荐方法及终端
CN110119479A (zh) 一种餐馆推荐方法、装置、设备及可读存储介质
CN112417294A (zh) 一种基于神经网络挖掘模型的业务智能推荐方法
WO2024041483A1 (zh) 一种推荐方法及相关装置
WO2024002167A1 (zh) 一种操作预测方法及相关装置
CN112749280A (zh) 网络舆情的分类方法、装置、电子装置和存储介质
CN111340213B (zh) 神经网络的训练方法、电子设备、存储介质
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
WO2024067779A1 (zh) 一种数据处理方法及相关装置
CN110750673B (zh) 图像处理方法、装置、设备及存储介质
CN113704534A (zh) 图像处理方法、装置及计算机设备
CN110276283B (zh) 图片识别方法、目标识别模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022552

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination