CN110688482A - 多标签识别方法、训练方法及装置 - Google Patents

多标签识别方法、训练方法及装置 Download PDF

Info

Publication number
CN110688482A
CN110688482A CN201910868502.9A CN201910868502A CN110688482A CN 110688482 A CN110688482 A CN 110688482A CN 201910868502 A CN201910868502 A CN 201910868502A CN 110688482 A CN110688482 A CN 110688482A
Authority
CN
China
Prior art keywords
label
content
sequence
tag
labels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910868502.9A
Other languages
English (en)
Other versions
CN110688482B (zh
Inventor
王李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN201910868502.9A priority Critical patent/CN110688482B/zh
Publication of CN110688482A publication Critical patent/CN110688482A/zh
Application granted granted Critical
Publication of CN110688482B publication Critical patent/CN110688482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种多标签识别方法、训练方法及装置，涉及机器学习技术领域。该方法包括：对待识别内容进行特征提取，得到待识别内容的特征向量；使用多个分类模型分别对所述待识别内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一个标签；所述标签的分类概率用于指示所述待识别内容的特征向量分类为所述标签的概率；根据标签依赖矩阵及各所述标签的分类概率，确定所述待识别内容的标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重。本申请可提高标签识别准确度。

Description

多标签识别方法、训练方法及装置
技术领域
本发明涉及机器学习技术领域，具体而言，涉及一种多标签识别方法、训练方法及装置。
背景技术
随着互联网技术的发展，网络上的内容越来越多，为便于进行内容的推荐，网络上的内容大多具有各自的内容标签，以指示该内容所包括的信息类型等。目前，网络上的内容标签可以为用户输入的标签，也可以为通过对内容进行识别，继而得到的标签。
对于机器识别得到的标签，通常可通过多类标签的二分类模型，分别识别多类标签中的每类标签是否为待识别的内容的标签，继而得到该内容的标签。
然而，上述方法识别得到的内容的标签，无法真实反应内容所包含的信息，其标签识别的准确度较低。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种多标签识别方法、训练方法及装置，以解决标签识别的准确度较低的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种多标签识别方法，所述方法包括：
使用多个分类模型分别对所述待识别内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述待识别内容的特征向量分类为所述标签的概率；
根据标签依赖矩阵及各所述标签的分类概率，确定所述待识别内容的标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重。
在一种实现方式中，所述根据标签依赖矩阵及各所述标签的分类概率，确定所述待识别内容的标签序列，包括：
根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的得分参数；
根据所述多类标签构成的多个标签序列的得分参数，从所述多个标签序列中，确定最高得分参数的标签序列为所述待识别内容的标签序列；
其中，所述标签依赖矩阵中各标签之间具有依赖关系的权重包括：每类标签与其他类标签之间具有依赖关系的权重。
该方法中，可根据该多个标签序列的得分参数，从该多个标签序列中，确定最高得分参数的标签序列为该待识别内容的标签序列，可使得得到的标签序列与该待识别内容更匹配，该标签序列中标签之间的依赖程度更高，使得内容的标签识别更准确。
在另一种实现方式中，所述根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的得分参数，包括：
根据所述每个标签序列中各标签的分类概率，确定所述每个标签序列的概率得分；
根据所述标签依赖矩阵中各标签之间具有依赖关系的权重，确定所述每个标签序列的关系得分；
根据所述每个标签序列的概率得分，和所述每个标签序列的关系得分，确定所述每个标签序列的得分参数。
该方法，可分别确定每个标签序列的概率得分和关系得分，继而根据该概率得分和该关系得分，确定该每个标签序列的得分参数，可使得标签序列的得分参数更准确，从而使得识别得到的待识别内容的标签序列更准确，有效提高了标识识别的准确度。
在再一种实现方式中，所述对待识别内容进行特征提取，得到所述待识别内容的特征向量，包括：
采用深度学习模型，对所述待识别内容进行特征提取，得到所述待识别内容的特征向量；
其中，若所述待识别内容为图像内容，则所述深度学习模型为卷积神经网络CNN模型；或者，
若所述待识别内容为文本内容，则所述深度学习模型为循环神经网络CNN模型。
第二方面，本发明实施例还提供一种多标签识别网络模型的训练方法，包括：
对样本内容进行特征提取，得到所述样本内容的特征向量；
使用多个分类模型分别对所述样本内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述样本内容的特征向量分类为所述标签的概率；
根据标签依赖矩阵及各所述标签的分类概率，确定所述样本内容的预测标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重；
根据所述样本内容的预测标签序列，以及所述样本内容的真实标签序列，对所述标签依赖矩阵中各权重进行更新。
在一种可能的实现方式中，所述根据所述样本内容的预测标签序列，以及所述样本内容的真实标签序列，对所述标签依赖矩阵中各权重进行更新，包括：
根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的训练得分参数；
根据所述多个标签序列中所述真实标签序列的训练得分参数，以及所述预测标签序列的训练得分参数，确定所述多标签识别网络模型的损失函数值；其中，所述预测标签序列为所述多个标签序列中训练得分参数最高的标签序列；
根据所述损失函数值，对所述标签依赖矩阵的各权重进行更新。
在另一种实现方式中，所述根据所述损失函数值，对所述标签依赖矩阵的各权重进行更新，包括：
根据所述损失函数值，采用梯度下降算法，对所述标签依赖矩阵的各权重进行更新，直至，基于更新之后的权重所得到的损失函数值最小。
在又一种实现方式中，所述方法还包括：
根据所述预测标签序列与所述真实标签序列中相同的标签数，以及所述预测标签序列的标签数，确定所述多标签识别网络模型的精准率；
和/或，
根据所述相同的标签数，以及所述真实标签序列的标签数，确定所述多标签识别网络模型的召回率
第三方面，本发明实施例还提供一种多标签识别装置，所述装置包括：
提取模块，用于采用所述特征提取层，对待识别内容进行特征提取，得到所述待识别内容的特征向量；
分类模块，用于使用多个分类模型分别对所述待识别内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述待识别内容的特征向量分类为所述标签的概率；
确定模块，用于根据标签依赖矩阵及各所述标签的分类概率，确定所述待识别内容的标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重。
在一种实现方式中，所述确定模块，具体用于根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的得分参数；根据所述多类标签构成的多个标签序列的得分参数，从所述多个标签序列中，确定最高得分参数的标签序列为所述待识别内容的标签序列；
其中，所述标签依赖矩阵中各标签之间具有依赖关系的权重包括：每类标签与其他类标签之间具有依赖关系的权重。
在另一种实现方式中，所述确定模块，具体用于根据所述每个标签序列中各标签的分类概率，确定所述每个标签序列的概率得分；根据所述标签依赖矩阵中各标签之间具有依赖关系的权重，确定所述每个标签序列的关系得分；根据所述每个标签序列的概率得分，和所述每个标签序列的关系得分，确定所述每个标签序列的得分参数。
在再一种实现方式中，所述提取模块，具体用于采用深度学习模型，对所述待识别内容进行特征提取，得到所述待识别内容的特征向量；
其中，若所述待识别内容为图像内容，则所述深度学习模型为卷积神经网络CNN模型；或者，
若所述待识别内容为文本内容，则所述深度学习模型为循环神经网络CNN模型。
第四方面，本发明实施例还提供一种多标签识别网络模型的训练装置，包括：
提取模块，用于对样本内容进行特征提取，得到所述样本内容的特征向量；
分类模块，用于使用多个分类模型分别对所述样本内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述样本内容的特征向量分类为所述标签的概率；
第一确定模块，用于根据标签依赖矩阵及各所述标签的分类概率，确定所述样本内容的预测标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重；
更新模块，用于根据所述样本内容的预测标签序列，以及所述样本内容的真实标签序列，对所述标签依赖矩阵中各权重进行更新。
在一种实现方式中，所述第一确定模块，用于根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的训练得分参数；根据所述多个标签序列中所述真实标签序列的训练得分参数，以及所述预测标签序列的训练得分参数，确定所述多标签识别网络模型的损失函数值；其中，所述预测标签序列为所述多个标签序列中训练得分参数最高的标签序列；
所述更新模块，具体用于根据所述损失函数值，对所述标签依赖矩阵的各权重进行更新。
在另一种实现方式中，所述更新模块，具体用于根据所述损失函数值，采用梯度下降算法，对所述标签依赖矩阵的各权重进行更新，直至，基于更新之后的权重所得到的损失函数值最小。
在又一种实现方式中，所述装置还包括：
第二确定模块，用于根据所述预测标签序列与所述真实标签序列中相同的标签数，以及所述预测标签序列的标签数，确定所述多标签识别网络模型的精准率；和/或，用于根据所述相同的标签数，以及所述真实标签序列的标签数，确定所述多标签识别网络模型的召回率。
第五方面，本申请实施例还提供一种多标签识别设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所提供的任一多标签识别方法。
第六方面，本申请实施例还提供一种多标签识别网络模型的训练设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面所提供的任一多标签识别网络模型的训练方法。
第七方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面所提供的任一多标签识别方法。
第八方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第二方面所提供的任一多标签识别网络模型的训练方法。
本申请的有益效果是：
本申请所提供的多标签识别方法、训练方法及装置中，可对待识别内容进行特征提取，得到该待识别内容的特征向量，并使用多个分类模型分别对该待识别内容的特征向量进行分类，获得各该分类模型输出的各标签的分类概率，每个分类模型对应一类标签，继而根据标签依赖矩阵及各该标签的分类概率，确定该待识别内容的标签序列，其中该标签的分类概率用于指示该待识别内容的特征向量分类为该标签的概率；该标签依赖矩阵包含各标签之间具有依赖关系的权重。该方法中，可根据该待识别内容分类为各类标签的分类概率，和包括标签之间对应具有依赖关系的权重的标签依赖矩阵，确定该待识别内容的标签序列，即在进行内容的标签识别的过程中，考虑了标签之间的依赖关系，因此，可使得确定的内容标签更准确地反应内容，提高了标签识别的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的多标签识别方法的流程示意图；
图2为本申请实施例提供的多标签识别网络模型的示意图；
图3为本申请实施例提供的多标签识别网络模型中特征提取层的CNN模型的示意图；
图4为本申请实施例提供的多标签识别网络模型中特征提取层的RNN模型的示意图；
图5为本申请另一实施例提供的多标签识别方法的流程示意图；
图6为本申请又一实施例提供的多标签识别方法的流程示意图；
图7为本申请再一实施例提供的多标签识别网络模型的训练方法的流程示意图；
图8为本申请再一实施例提供的多标签识别网络模型的训练方法的流程示意图；
图9为本申请实施例提供的一种多标签识别装置的示意图；
图10为本申请实施例提供的另一种多标签识别装置的示意图；
图11为本申请实施例提供的一种多标签识别网络模型的训练装置的示意图；
图12为本申请实施例提供的另一种多标签识别网络模型的训练装置的示意图；
图13为本申请实施例提供的再一种多标签识别网络模型的训练装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本申请下述各实施例提供的多标签识别方法、训练方法、装置、设备及存储介质，可根据标签之间的依赖关系的权重，对内容进行多标签识别，使得确定的该待识别内容的标签更准确地反应内容所包含的信息，提高了标签识别的准确度。本申请的方案可识别的内容，可以为图像内容、文本内容或者音频内容等。也就是说，本申请的方案，即可实现图像内容的多标签识别，也可实现文本内容的多标签识别，还可实现音频内容的多标签识别，当然，也可实现其他类型内容的多标签识别，本申请不对此限制。其中，该图像内容可以为照片或图片等静态图像，也可以为视频的帧图像、动画图像等动态图像。
需要说明的是，在执行本申请所提供的方案，对内容进行多标签识别之后，还可根据识别到的标签进行内容标记，可对标记有标签的内容进行展示，也可基于标记有标签的内容对用户进行内容推荐，还可向用户返回其所选择标签的内容等。因此，本申请的方案，可在实现内容的标多签识别的情况下，基于已标注有标签的内容实现各种业务应用，例如音视频的搜索、推送/推荐、图像的智能分类等等。
如下通过多个实例对本申请所提供的多标签识别方法进行示例说明。
图1为本申请一实施例提供的多标签识别方法的流程示意图，该多标签识别方法可由多标签识别设备实现。该多标签识别设备可以为服务器或者其它具有处理功能的计算机设备。该多标签识别方法可应用于具有多标签识别网络模型的设备，通过将待识别内容输入该多标签识别网络模型中，得到该多标签识别网络模型输出的待识别内容的标签序列。图2为本申请实施例提供的多标签识别网络模型的示意图。如图2所示，该多标签识别网络模型可依次包括如图2所示的特征提取层、标签分类层和标签依赖层。标签依赖层具有标签依赖矩阵，该标签依赖矩阵
需要说明的是，本申请的方法所涉及的待识别内容可包括一个或多个，无论包括多少个内容，对于每个内容，均可采用下述各实施例提供的多标签识别方法进行处理，以得到每个内容的标签序列。
如图1所示，该方法可包括：
S101、对待识别内容进行特征提取，得到该待识别内容的特征向量。
该方法，可将该识别内容输入该多标签识别网络模型，采用该多标签识别网络模型的特征提取层对该待识别内容进行特征提取，得到该待识别内容的特征向量。该图2所示的该多标签识别网络模型的特征提取层可用于进行特征提取，该特征提取层的输入为待识别内容，该特征提取层的输出即为该待识别内容的特征向量，其可用于表示该待识别内容。
可选的，该待识别内容可以为图像内容、文本内容或者音频内容等任一。对于不同类型的待识别内容，可采用不同的深度学习模型，以提取不同类型的内容的特征向量。
如上所示的S101对待识别内容进行特征提取，得到该待识别内容的特征向量，可包括：
采用深度学习模型，对该待识别内容进行特征提取，得到该待识别内容的特征向量。其中，若该待识别内容为图像内容，则该深度学习模型为卷积神经网络(ConvolutionalNeural Networks，CNN)模型；或者，若该待识别内容为文本内容，则该深度学习模型为循环神经网络(Recurrent Neural Network，RNN)模型。
举例来说，图2所示的该多标签识别网络模型中的特征提取层可对图像内容进行特征提取，那么，该特征提取层可以包括：CNN模型，用以对图像内容进行特征提取。若待识别内容为图像内容，将该识别内容输入至该特征提取层，便可采用该特征提取层中的CNN模型，对该图像内容进行特征提取。
图2所示的该多标签识别网络模型中的特征提取层还可对文本内容进行特征提取，则该特征提取层可包括：RNN模型。若待识别内容为文本内容，将该识别内容输入至该特征提取层，便可采用该特征提取层中的RNN模型，对该文本内容进行特征提取。
如下以待识别网络为图像内容时，通过特征提取层的CNN模型对图像内容进行特征提取，得到该图像内容的特征向量为例，进行示例说明。
图3为本申请实施例提供的多标签识别网络模型中特征提取层的CNN模型的示意图。如图3所示，该CNN模型可以为16层的视觉几何组织(Visual Geometry Group，VGG)网络模型。该VGG网络模型依次可包括：64位卷积(Conv-64)层、最大池化(maxpool)层、128位卷积(Conv-128)层、最大池化层、两个256位卷积(Conv-256)层、最大池化层、两个512位卷积(Conv-512)层、最大池化层、两个512位卷积层、最大池化层、4096位全连接(FullConnection-4096，FC-4096)层和1000位全连接(FC-1000)层。其中，Conv-64层可采用64个过滤器(filter)进行卷积操作；Conv-128层可采用128个过滤器进行卷积操作；Conv-256层可采用256个过滤器进行卷积操作；Conv-512层可采用512个过滤器进行卷积操作。最大池化层，可对其上一层的输出进行池化操作，如缩放操作。FC-4096层可输出4096维度的全连接计算，FC-1000层可输出1000维度的全连接。
以16层的VGG网络为例，该方法中，可将该待识别的图像内容输入至该VGG网络模型，由该VGG网络模型依次采用各处理层对待识别的图像内容进行处理，以得到图像内容的特征向量。该VGG网络模型中，Conv-64层的输入信息即为该待识别的图像内容，该FV-1000层的输出信息即为该图像内容的特征向量。
需要指出的是，上述图3所示的VGG网络模型仅为CNN模型的一种实例，该CNN模型还可以为其它层数的VGG网络模型，或者，层数相同，但卷积层的过滤器的个数不同和/或全连接层的输出维度不同的其它VGG网络模型，在此不再赘述。
如下继续以待识别网络为文本内容时，通过特征提取层的RNN模型对文本内容进行特征提取，得到该文本内容的特征向量为例，进行示例说明。
图4为本申请实施例提供的多标签识别网络模型中特征提取层的RNN模型的示意图。如图4所示，该RNN模型可包括：嵌入层(Embedding layer)、双向长短期记忆(Bi-Directional Long Short-Term Memory，Bi-LSTM)层以及输出(output)层。其中，嵌入层即为该RNN模型的输入层，其输入信息即为待识别的文本内容中的各个字符，用以对文本内容的各个字符进行字嵌入处理，以得到各个字符的嵌入向量。该文本内容的各个字符例如可以为图4中所示的x1，x2，…，xn，其中，n为大于2的整数，如n＝31。各个字符的嵌入向量可以为图4中所示的e1，e2，…，en。
该Bi-LSTM层的输入信息为嵌入层的输出信息，即各个字符的嵌入向量。Bi-LSTM层可用于对各个字符的嵌入向量进行学习，得到该各个字符的隐藏层的特征向量，并将多个隐藏层的特征向量传输至输出层，通过输出层将最后一个隐藏层输出的特征向量作为该文字内容的特征向量进行输出。每个隐藏层的特征向量为该各个字符中最后一个的特征向量。
Bi-LSTM层所输出的多个隐藏层的特征向量例如可以为u1、u2、…、un，ut∈R1。其中，ut＝BiLSTM(u(t-1)，et)，t＝1，2，…，n。其中，ut为第t个隐藏层输出的特征向量。et为第t个隐藏层对应的字符的嵌入向量。在本实施例的方案中，输出层可将un作为该文本内容的特征向量。
需要指出的是，上述图4所示的网络模型仅为RNN模型的一种实例，该RNN模型还可以包括其他的处理层，在此不再赘述。
S102、使用多个分类模型分别对该待识别内容的特征向量进行分类，获得各该分类模型输出的各标签的分类概率。
其中，每个分类模型对应一类标签；该标签的分类概率用于指示该待识别内容的特征向量分类为该标签的概率。
如上所示的图2所示的标签分类层可包括：K个分类模型，如图2所示的分类模型1、分类模型2……分类模型K。每个分类模型可对应一类标签，可用于对待识别内容的特征向量，进行该分类模型对应标签的分类。该每个分类模型的输入为该特征提取层的输出，即该待识别内容的特征向量，该每个分类模型的输出为该分类模型对应标签的分类概率。由于该标签分类层可包括：多个分类模型，每个分类模型对应一类模型，实现多类标签的分类，则该标签分类层还可称为多标签分类层。该标签分类层中每个分类模型可以为一个激活函数，如sigmod函数。
若存在K个分类模型，分别对应K类标签，v∈Rh，v为该待识别内容的特征向量，R1表示1维空间，R1×h表示1×h维空间，v∈Rh可用于表示该待识别内容的特征向量为1×h维的特征向量。各分类模型所输出的各标签的分类概率可如下公式(1)所示：
Oi＝sigmoid(wiv+bi)公式(1)
其中，Oi用于指示待识别内容的特征向量分类为第i类标签的概率，i为1～K中任一整数值。1-Oi∈R1为该待识别内容的特征向量不被分类为第i类标签的概率。wi∈R1×h为，wi为1行h列的向量，是对该待识别内容的特征向量v的线性变换得到的向量；bi∈R1为，bi为长度为1的向量，是对该待识别内容的特征向量v的线性变换之后的向量进行偏差矫正之后的向量。
S103、根据标签依赖矩阵及各该标签的分类概率，确定该待识别内容的标签序列，其中，该标签依赖矩阵包含各标签之间具有依赖关系的权重。
其中，该标签序列包括一类或多类标签，该标签依赖矩阵包括：该多类标签中各标签之间具有依赖关系的权重。图2所示的标签依赖层中可具有预设的标签依赖矩阵，该标签依赖矩阵可以包括：各标签之间具有依赖关系的权重。假设，存在K类标签，如图2所示的L1、L2......Lk，那么该标签依赖层中的标签依赖矩阵中便存在L1、L2......Lk中每两类矩阵之间具有依赖关系的权重。图2中所示的标签分类层中各分类模型输出的各标签的分类概率，可输入至该标签依赖层，采用该标签依赖层的标签依赖矩阵，以及输入的各标签的分类概率，获得该标签依赖层输出的该待识别内容对L1、L2......Lk中每类标签的分类结果。每类标签的分类结果可通过二进制0或1表示，以分别指示该类标签是否为该待识别内容的标签。例如二进制0可用于指示该类标签不为该待识别内容的标签，二进制1可用于指示该类标签为该待识别内容的标签。如此，对于L类标签，由于每类标签都具有对应的分类结果，继而可根据该待识别内容对各标签的分类结果，确定由该待识别内容的标签所构成的标签序列即为该待识别内容的标签序列。
可选的，各标签之间具有依赖关系的权重可包括：每类标签与其他类标签之间具有依赖关系的权重，即不同类标签之间的具有依赖关系的权重。该每类标签与其他类标签的关系参数可用于表示该每类标签与该其它类标签间的相互依赖关系。该标签依赖层还可称为多标签依赖层。
其中，该标签依赖矩阵中该每类标签与自身依赖关系的权重可以为0，该每类标签与其他类标签之间具有依赖关系的权重可以为非0。
该标签依赖矩阵可以为上三角矩阵，也可以为下三角矩阵。在一实施例中，以该标签依赖矩阵为n×n的上三角矩阵为例，n为标签的类别数K，该标签依赖矩阵中对角线元素为0，即标签依赖矩阵的对角线以及对角线以下的参数均为0。举例来说，若该标签的类别级数K为4，则该标签依赖矩阵可以为4×4的矩阵，例如为如下所示：
L1 L2 L3 L4
Figure BDA0002201613780000131
上述标签依赖矩阵中可包括：L1、L2、L3、L4中各标签与自身的依赖关系权重，以及L1、L2、L3、L4中每两类标签之间具有依赖关系的权重。参照上述矩阵可知，L1与自身的依赖关系权重、L2与自身的依赖关系权重、L3与自身的依赖关系权重、L4与自身的依赖关系权重，均可以为0。
其中，w1为标签L1和标签L2之间具有依赖关系的权重，用于表示该标签L1和标签L2之间的相互依赖关系；w2为标签L1和标签L3之间具有依赖关系的权重，用于表示该标签L1和标签L3之间的相互依赖关系；w3为标签L1和标签L4之间具有依赖关系的权重，用于表示该标签L1和标签L4之间的相互依赖关系；w4为标签L2和标签L3之间具有依赖关系的权重，用于表示该标签L2和标签L3之间的相互依赖关系；w5为标签L2和标签L4之间具有依赖关系的权重，用于表示该标签L2和标签L4之间的相互依赖关系；w6为标签L3和标签L4之间具有依赖关系的权重，用于表示该标签L3和标签L4之间的相互依赖关系。
该方法中，可根据标签依赖矩阵及各该标签的分类概率，从多类标签构成的多个标签序列中确定该待识别内容的标签序列。当然，该方法中，还可通过其他的方式确定该待识别内容的标签序列，上述仅为示例，本申请不对此限制。
本申请所提供的标签识别方法，可对待识别内容进行特征提取，得到该待识别内容的特征向量，并使用多个分类模型分别对该待识别内容的特征向量进行分类，获得各该分类模型输出的各标签的分类概率，每个分类模型对应一类标签，继而根据标签依赖矩阵及各该标签的分类概率，确定该待识别内容的标签序列，其中该标签的分类概率用于指示该待识别内容的特征向量分类为该标签的概率；该标签依赖矩阵包含各标签之间具有依赖关系的权重。该方法中，可根据该待识别内容分类为各类标签的分类概率，和包括标签之间具有依赖关系的权重的标签依赖矩阵，确定该待识别内容的标签序列，即在进行内容的标签识别的过程中，考虑了标签之间的依赖关系，因此，可使得确定得到的内容标签更准确地反应内容，提高了标签识别的准确度。
该方法中，针对不同类的待识别内容，可采用不同的深度学习模型，用以识别对应类型内容的特征向量，多标签识别的适用性强，灵活多变，从而提高了多标签识别网络模型的适用性以及灵活性。
可选的，上述图1所示的多标签识别方法的基础上，本申请实施例还可提供一种多标签识别方法对上述方法中S103中确定该待识别内容的标签序列进行示例说明。图5为本申请另一实施例提供的多标签识别方法的流程示意图。如图5所示，上述方法中根据标签依赖矩阵及各该标签的分类概率，确定该待识别内容的标签序列可包括：
S501、根据多类标签构成的每个标签序列中各标签的分类概率，以及该标签依赖矩阵中该每个标签序列中各标签之间具有依赖关系的权重，确定该每个标签序列的得分参数。
对于每个标签序列，可根据该待识别内容的特征向量分类为该标签序列中各标签的分类概率，以及该标签依赖矩阵中该标签序列中各标签之间具有依赖关系的权重，确定该标签序列的得分参数。对于该多类标签构成的多个标签序列，便可得到该多个标签序列的得分参数。
S502、根据该多类标签构成的多个标签序列的得分参数，从该多个标签序列中，确定最高得分参数的标签序列为该待识别内容的标签序列。
该多个标签序列可以为该多类标签构成的所有标签序列，其可以为该待识别内容的所有可能的标签序列，该方法中，可根据该多个标签序列的得分参数，对该多个标签序列进行排序，并将该最高得分参数的标签序列作为该待识别内容的标签序列，即该待识别内容的最终的预测序列。
该方法中，可根据该多个标签序列的得分参数，从该多个标签序列中，确定最高得分参数的标签序列为该待识别内容的标签序列，可使得得到的标签序列与该待识别内容更匹配，该标签序列中标签的依赖程度更高，使得内容的标签识别更准确。
可选的，本申请实施例还提供一种多标签识别方法。图6为本申请又一实施例提供的多标签识别方法的流程示意图。如图6所示，如上所示的S501中根据多类标签构成的每个标签序列中各标签的分类概率，以及该标签依赖矩阵中该每个标签序列中各标签之间具有依赖关系的权重，确定该每个标签序列的得分参数可包括：
S601、根据该每个标签序列中各标签的分类概率，确定该每个标签序列的概率得分。
对于每个标签序列，该方法中，可根据该标签序列中各标签的分类概率之和，确定该标签序列的概率得分。
例如，该每个标签序列的概率得分可以为该每个标签序列中各标签的分类概率之和。
若待识别内容为x，标签序列为y，该标签序列的概率得分可表示为S1(x，y)。
S602、根据该每个标签序列中各标签之间具有依赖关系的权重，确定该每个标签序列的关系得分。
该方法中，可根据该每个标签序列中各标签之间具有依赖关系的权重之和，确定该每个标签序列的关系得分。
由于该关系得分，是基于各标签具有依赖关系的权重所得到的，那么该关系得分，还可称为依赖得分。
举例来说，若一个标签序列包括标签L1、标签L3以及标签L4，则该标签序列可表示为y＝(L1，O，L3，L4)，根据上述标签依赖矩阵中该标签L1与标签L3之间具有依赖关系的权重为w2、该标签L1与标签L4之间具有依赖关系的权重为w3，该标签L3与标签L4之间具有依赖关系的权重为w6，基于此，可得到该标签序列的关系得分S2(x，y)＝w2+w3+w6。
S603、根据该每个标签序列的概率得分，和该每个标签序列的关系得分，确定该每个标签序列的得分参数。
该方法中，可根据该每个标签序列的概率得分和该每个标签序列的关系得分之和，确定该每个标签序列的得分参数。
例如，若标签序列的概率得分为S1(x，y)，该标签序列的关系得分为S2(x，y)，则该标签序列的得分参数S(x，y)＝S1(x，y)+S2(x，y)。
该实施例提供的标签识别方法，可分别确定每个标签序列的概率得分和关系得分，继而根据该概率得分和该关系得分，确定该每个标签序列的得分参数，可使得标签序列的得分参数更准确，从而使得识别得到的待识别内容的标签序列更准确，有效提高了标识识别的准确度。
本申请实施例在提供上述各多标签识别的基础上，本申请实施例还可提供一种多标签识别网络模型的训练方法，以提高基于多标签识别网络模型进行多标签识别的识别精度。该多标签识别网络模型的训练方法可由模型训练设备实现，该模型训练设备可以为服务器或者其它具有处理功能的计算机设备。该模型训练设备可以与上述多标签识别设备为同一设备，也可为与多标签识别设备不同的其它设备。图7为本申请再一实施例提供的多标签识别网络模型的训练方法的流程示意图。如图7所示，该方法可包括：
S701、对样本内容进行特征提取，得到该样本内容的特征向量。
该方法中对于样本内容的特征提取，可与上述S201中对待识别内容的特征提取的实现类似，具体实现参见上述，在此不再赘述。
S702、使用多个分类模型分别对该样本内容的特征向量进行分类，获得各该分类模型输出的各标签的分类概率。
每个分类模型对应一类标签；该标签的分类概率用于指示该样本内容的特征向量分类为该标签的概率。
该方法中对于样本内容的特征向量的分类，可与上述S202中对待识别内容的特征向量进行分类的实现类似，具体实现参见上述，在此不再赘述。
S703、根据标签依赖矩阵及各该标签的分类概率，确定该样本内容的预测标签序列，其中，该标签依赖矩阵包含各标签之间具有依赖关系的权重。
该方法中确定该样本内容的预测标签序列，可与上述S203中确定待识别内容的标签序列的实现类似，具体实现参见上述，在此不再赘述。
S704、根据该样本内容的预测标签序列，以及该样本内容的真实标签序列，对该标签依赖矩阵中各权重进行更新。
在更新之前，存在预设的标签依赖矩阵，在该预设的标签依赖矩阵中，各标签之间具有依赖关系的权重为预先设定的权重。通过执行该训练方法，可根据该样本内容的预测标签序列，以及该样本内容的真实标签序列，对标签依赖矩阵中的各权重进行更新。
示例地，该方法可根据该样本内容的预测标签序列，以及该样本内容的真实标签序列，确定损失函数值，继而根据损失函数值，对该标签依赖矩阵中各权重进行更新，以使得基于更新之后的权重所得到的损失函数值降低。
需要指出的是，该方法中，还可根据该样本内容的预测标签序列，以及该样本内容的真实标签序列，对多标签识别网络模型中，除该标签依赖矩阵中各权重之外的其它参数。该其它参数例如可以包括：多标签识别网络模型中特征提取层的配置参数和/或标签分类层的配置参数。该特征提取层的配置参数例如可包括：特征提取层的处理层数、每层的信息维度数，或者过滤器的个数等至少一种参数。该标签分类层的配置参数例如可包括：分类模型的个数、各分类模型的配置参数如激活函数的配置参数等至少一种参数。
本实施例所提供的标签识别方法，可根据该样本内容的预测标签序列，以及该样本内容的真实标签序列，对该标签依赖矩阵中各权重进行更新，实现多标签识别网络模型中权重进行优化，以提高多标签识别网络模型进行多标签识别的识别准确度。
可选的，如上所示方法中S703中根据标签依赖矩阵及各该标签的分类概率，确定该样本内容的预测标签序列可包括：
根据该多类标签构成的每个标签序列中各标签的分类概率，以及该标签依赖矩阵中该每个标签序列中各标签之间具有依赖关系的权重，确定该每个标签序列的训练得分参数；
根据该多类标签构成的多个标签序列的训练得分参数，从该多个标签序列中，确定最高训练得分参数的标签序列为该预测标签序列。
该方法中，根据得分参数确定该样本内容的预测标签序列的实现，可与上述图5中根据得分参数确定该待识别内容的预测标签序列的实现过程类似，具体参照上述，在此不再赘述。
在上述实施例提供的训练方法的基础上，为优化多标签识别网络模型，提高多标签识别网络模型的识别精度，本申请实施例还提供一种多标签识别网络模型的训练方法。图8为本申请再一实施例提供的多标签识别网络模型的训练方法的流程示意图。如图8所示，如上所示的S704中根据该样本内容的预测标签序列，以及该样本内容的真实标签序列，对该标签依赖矩阵中各权重进行更新可包括：
S801、根据多类标签构成的每个标签序列中各标签的分类概率，以及该标签依赖矩阵中该每个标签序列中各标签之间具有依赖关系的权重，确定该每个标签序列的训练得分参数。
S802、根据该多个标签序列中该真实标签序列的训练得分参数，以及该预测标签序列的训练得分参数，确定该标签识别网络的损失函数值。
其中，该预测标签序列为该多个标签序列中训练得分参数最高的标签序列。
该多个标签序列为该多类标签构成的所有标签序列，其可以为该样本内容的所有可能的标签序列。其中，每个标签序列的训练得分参数，可与上述标签序列的得分参数的实现类似，例如可以为该每个标签序列的训练概率得分和该每个标签序列的训练关系得分之和。该训练概率得分的具体实现可参见上述标签序列的概率得分的实现，该训练关系得分的具体实现可参见上述标签序列的关系得分的实现，在此不再赘述。当然，该标签序列的训练得分参数也可采用其它的方式得到，该标签序列的训练概率得分以及训练关系得分也可采用其它的方式得到，本申请不对此限制。
例如，假设样本{xi，yi}，i＝1，2，…，n，其中，xi为第i个样本内容，yi为第i个样本内容的真实标签序列。该多类标签构成的标签集可以为{L1，L2，…，LK}，即存在K类标签，则该方法可根据该多个标签序列中该真实标签序列的训练得分参数，以及该预测标签序列的训练得分参数，采用下述公式(2)确定该多标签识别网络模型的损失函数值。
Figure BDA0002201613780000181
S(xi，yi)＝S1(xi，yi)+S2(xi，yi)公式(3)
Figure BDA0002201613780000191
其中，loss为该多标签识别网络模型的损失函数值，S(xi，yi)为样本内容xi的真实标签序列yi的得分参数，S1(xi，yi)为该样本内容xi的真实标签序列yi的概率得分，S2(xi，yi)该样本内容xi的真实标签序列yi的关系得分。
Figure BDA0002201613780000192
为该样本内容xi的预测标签序列，
Figure BDA0002201613780000193
为该样本内容xi的所有可能的标签序列，即多个标签序列。
Figure BDA0002201613780000194
为样本内容xi的多个标签序列的得分参数之和。
S803、根据该损失函数值，对该标签依赖矩阵的各权重进行更新。
该方法中，通过该多个标签序列中该真实标签序列的训练得分参数，以及该预测标签序列的训练得分参数，确定该标签识别网络的损失函数值，可使得损失函数值更准确，从而使得基于该损失函数值对该标签依赖矩阵的各权重进行更新，以更精确地实现多标签识别网络模型的优化，提高多标签识别的准确度。
可选的，如上所示的S803中根据该损失函数值，对该标签依赖矩阵的各权重进行更新可包括：
根据该损失函数值，采用梯度下降算法，对该标签依赖矩阵的各权重进行更新，直至，基于更新之后的权重所得到的损失函数值最小。
该方法中，通过根据该损失函数值，采用梯度下降算法进行权重的更新，以最小化损失函数，提高多标签识别网络模型的标签识别准确度。
可选的，在上述图7或图8所示的训练方法的基础上，该多标签识别网络模型的训练方法还可包括：
根据该预测标签序列与该真实标签序列中相同的标签数，以及该预测标签序列的标签数，确定该多标签识别网络模型的精准率；
和/或，
根据该相同的标签数，以及该真实标签序列的标签数，确定该多标签识别网络模型的召回率。
其中，该精准率可以为：该相同的标签数，在预测标签序列中的占比；该召回率可以为相同的标签数，在该真实标签序列的占比。由于该预测标签序列与真实标签序列中相同标签实际为准确预测到的标签，则该精准率和该召回率均可用于表征该标签识别网络的识别准确度。
假设样本{xi，yi}，i＝1，2，…，n，其中，xi为第i个样本内容，yi为第i个样本内容的真实标签序列。预测的标签序列为
Figure BDA0002201613780000201
i＝1，2，…，n，其中，
Figure BDA0002201613780000202
为第i个样本内容的预测标签序列。该多类标签构成的标签集可以为{L1，L2，…，LK}，即存在K类标签。
因而可根据该预测标签序列与该真实标签序列中相同的标签数，以及该预测标签序列的标签数，采用下述公式(5)确定该多标签识别网络模型的精准率；根据该相同的标签数，以及该真实标签序列的标签数，确定该多标签识别网络模型的召回率，采用下述公式(6)确定该多标签识别网络模型的召回率。
Figure BDA0002201613780000203
Figure BDA0002201613780000204
其中，Precision为该多标签识别网络模型的精准率，Recall为该多标签识别网络模型的召回率。n为样本内容的个数，
Figure BDA0002201613780000208
为第i个样本内容xi的预测标签序列的标签数，|yi|为第i个样本内容xi的真实标签序列的标签数；为第i个样本内容xi的预测标签序列与真实标签序列中相同标签的个数。
若K＝4，第i个样本内容xi的真实标签序列yi为(1，0，0，1)，即真实标签序列包括：标签L1和标签L4，则|yi|＝2。假设第i个样本内容xi的预测标签序列
Figure BDA0002201613780000205
为(1，0，1，1)，即该预测标签序列包括：标签L1、标签L3和标签L4，则
Figure BDA0002201613780000206
那么，第i个样本内容xi的预测标签序列与真实标签序列中相同标签的个数
Figure BDA0002201613780000207
该方法中，可通过确定该多标签识别网络模型的精准率以及召回率，准确检测出该所标签识别网络模型的识别性能。
如下以饮食领域的评论数据作为待识别内容，通过特征提取层的文字特征提取层对待识别内容进行特征提取，得到该待识别内容的特征向量为例，进行示例说明。
若该待识别内容为评论数据，可对评论数据进行清洗，例如过滤掉无效评论，去除评论数据中的无效的表情、符号、图片以及统一资源定位符(Uniform Resource Locator，URL)链接等信息，得到该评论数据中的文本内容。
对于评论数据中的文本内容，可将该评论数据中的文本内容输入至上述图4所示的RNN模型，由该RNN模型中的嵌入层，对评论数据中文字内容的各个字符进行字嵌入处理，以得到各个字符的嵌入向量。嵌入层所得到的各字符的嵌入向量，可输入至Bi-LSTM层，由该Bi-LSTM层对各个字符的嵌入向量进行学习，得到该各个字符的隐藏层的特征向量，并将多个隐藏层的特征向量传输至输出层，通过输出层将最后一个隐藏层输出的特征向量作为该评论数据中文字内容的特征向量进行输出。每个隐藏层的特征向量为该各个字符中最后一个的特征向量。
Bi-LSTM层中第n个隐藏层输出的特征向量un，可通过该输出层输出，作为该评论数据的文本内容的特征向量。
在采用图4所示的特征提取层，得到该评论数据的文本内容的特征向量的情况下，还可使用多个分类模型分别对该待识别内容的特征向量进行分类，获得各该分类模型输出的各标签的分类概率。多个分类模型对应的标签可以为饮食领域的多个标签，例如可以包括下述中的至少两类标签：“服务热情”、“味道赞”、“主食赞”、“环境优雅”、“分量足”、“价格实惠”、“上菜快”、“性价比高”。
在确定该评论数据的文本内容的特征向量分类为各标签的分配概率的情况下，还可根据标签依赖矩阵及各标签的分类概率，确定该评论数据的文本内容的标签序列。
下述表1为多个评论数据以及采用上述方案预测得到的各评论数据的标签序列。
表1
Figure BDA0002201613780000211
Figure BDA0002201613780000221
参照上述表1可知，若评论数据为“【口味】味道很好，【环境】唯美干净，【服务】很好，值得推荐”，采用上述方案对该评论数据进行预测得到的该评论数据的标签序列可以为“味道赞；环境优雅；服务热情”。
若评论数据为“菜很多，挺好的，味道很不错量很大，推荐推荐”，采用上述方案对该评论数据进行预测得到的该评论数据的标签序列可以为“分量足；味道赞”。
若评论数据为“味道不错量也足，老板还送了玉米饼，推荐”，采用上述方案对该评论数据进行预测得到的该评论数据的标签序列可以为“味道赞；分量足”。
若评论数据为“鱼特别新鲜，肉质细腻，菜的分量很足，肉串也很好，正经羊肉串，环境特别好，快成了我的后厨了，每次公司聚餐都去”，采用上述方案对该评论数据进行预测得到的该评论数据的标签序列可以为“分量足；环境优雅”。
若评论数据为“环境温馨，有空调，第一次来吃，鱼是活鱼现杀的，香辣微辣的口味，特别不错，朋友也说比较好吃，以后经常来”，采用上述方案对该评论数据进行预测得到的该评论数据的标签序列可以为“环境优雅；味道赞”。
上述饮食领域为本申请的一个可能的应用领域示例，本申请的方案还可应用于其他领域中，对于其他领域的信息进行处理，本申请不对此限制。
下述对用以执行的本申请所提供的多标签识别方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图9为本申请实施例提供的一种多标签识别装置的示意图，如图9所示，该多标签识别装置900可包括：
提取模块901，用于采用该特征提取层，对待识别内容进行特征提取，得到该待识别内容的特征向量。
分类模块902，用于使用多个分类模型分别对该待识别内容的特征向量进行分类，获得各该分类模型输出的各标签的分类概率，每个分类模型对应一类标签；该标签的分类概率用于指示该待识别内容的特征向量分类为该标签的概率。
确定模块903，用于根据标签依赖矩阵及各该标签的分类概率，确定该待识别内容的标签序列，其中，该标签依赖矩阵包含各标签之间具有依赖关系的权重。
在一种实现方式中，确定模块903，用于根据多类标签构成的每个标签序列中各标签的分类概率，以及该标签依赖矩阵中该每个标签序列中各标签之间具有依赖关系的权重，确定该每个标签序列的得分参数；根据该多类标签构成的多个标签序列的得分参数，从所述多个标签序列中，确定最高得分参数的标签序列为该待识别内容的标签序列；
其中，该标签依赖矩阵中各标签之间具有依赖关系的权重包括：每类标签与其他类标签之间具有依赖关系的权重。
在另一种实现方式中，确定模块903，用于根据该每个标签序列中各标签的分类概率，确定该每个标签序列的概率得分；根据该标签依赖矩阵中各标签之间具有依赖关系的权重，确定该每个标签序列的关系得分；根据该每个标签序列的概率得分，和该每个标签序列的关系得分，确定该每个标签序列的得分参数。
在再一种实现方式中，提取模块901，具体用于采用深度学习模型，对该待识别内容进行特征提取，得到待识别内容的特征向量；
其中，若该待识别内容为图像内容，则该深度学习模型为CNN模型；或者，若该待识别内容为文本内容，则该深度学习模型为CNN模型。
上述装置用于执行前述实施例提供的多标签识别方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图10为本申请实施例提供的另一种多标签识别装置的示意图，该装置可以集成于设备或者设备的芯片，该设备可以是具备标签识别功能的计算设备或服务器。
该多标签识别装置1000包括：存储器1001、处理器1002。存储器1001和处理器1002通过总线连接。
存储器1001用于存储程序，处理器1002调用存储器1001存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述多标签识别方法实施例。
下述对用以执行的本申请所提供的多标签识别网络模型的训练方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图11为本申请实施例提供的一种多标签识别网络模型的训练装置的示意图，如图11所示，该多标签识别网络模型的训练装置1100可包括：
提取模块1101，用于对样本内容进行特征提取，得到该样本内容的特征向量。
分类模块1102，用于使用多个分类模型分别对该样本内容的特征向量进行分类，获得各该分类模型输出的各标签的分类概率，每个分类模型对应一类标签；该标签的分类概率用于指示该样本内容的特征向量分类为该标签的概率。
第一确定模块1103，用于根据标签依赖矩阵及各该标签的分类概率，确定该样本内容的预测标签序列，其中，该标签依赖矩阵包含各标签之间具有依赖关系的权重。
更新模块1104，用于根据该样本内容的预测标签序列，以及该样本内容的真实标签序列，对该标签依赖矩阵中各权重进行更新。
可选的，如上所示的第一确定模块1103，用于根据多类标签构成的每个标签序列中各标签的分类概率，以及该标签依赖矩阵中该每个标签序列中各标签之间具有依赖关系的权重，确定该每个标签序列的训练得分参数；根据该多个标签序列中该真实标签序列的训练得分参数，以及该预测标签序列的训练得分参数，确定该多标签识别网络模型的损失函数值；其中，该预测标签序列为该多个标签序列中训练得分参数最高的标签序列。
更新模块1104，用于根据该损失函数值，对该标签依赖矩阵的各权重进行更新。
可选的，更新模块1104，用于根据该损失函数值，采用梯度下降算法，对该标签依赖矩阵的各权重进行更新，直至，基于更新之后的权重所得到的损失函数值最小。
可选的，图12为本申请实施例提供的另一种多标签识别网络模型的训练装置的示意图。如图12所示，多标签识别网络模型的训练装置1100还可包括：
第二确定模块1105，用于根据该预测标签序列与该真实标签序列中相同的标签数，以及该预测标签序列的标签数，确定该多标签识别网络模型的精准率；和/或，用于根据该相同的标签数，以及该真实标签序列的标签数，确定该多标签识别网络模型的召回率。
上述装置用于执行前述实施例提供的多标签识别网络模型的训练方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图13为本申请实施例提供的再一种多标签识别网络模型的训练装置的示意图，该装置可以集成于设备或者设备的芯片，该设备可以是具备标签识别功能的计算设备或服务器。
该多标签识别网络模型的训练装置1300包括：存储器1301、处理器1302。存储器1301和处理器1302通过总线连接。
存储器1301用于存储程序，处理器1302调用存储器1301存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述多标签识别网络模型的训练方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种多标签识别方法，其特征在于，所述方法包括：
对待识别内容进行特征提取，得到所述待识别内容的特征向量；
使用多个分类模型分别对所述待识别内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述待识别内容的特征向量分类为所述标签的概率；
根据标签依赖矩阵及各所述标签的分类概率，确定所述待识别内容的标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重。
2.根据权利要求1所述的方法，其特征在于，所述根据标签依赖矩阵及各所述标签的分类概率，确定所述待识别内容的标签序列，包括：
根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的得分参数；
根据所述多类标签构成的多个标签序列的得分参数，从所述多个标签序列中，确定最高得分参数的标签序列为所述待识别内容的标签序列；
其中，所述标签依赖矩阵中各标签之间具有依赖关系的权重包括：每类标签与其他类标签之间具有依赖关系的权重。
3.根据权利要求2所述的方法，其特征在于，所述根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的得分参数，包括：
根据所述每个标签序列中各标签的分类概率，确定所述每个标签序列的概率得分；
根据所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的关系得分；
根据所述每个标签序列的概率得分，和所述每个标签序列的关系得分，确定所述每个标签序列的得分参数。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述对待识别内容进行特征提取，得到所述待识别内容的特征向量，包括：
采用深度学习模型，对所述待识别内容进行特征提取，得到所述待识别内容的特征向量；
其中，若所述待识别内容为图像内容，则所述深度学习模型为卷积神经网络CNN模型；或者，
若所述待识别内容为文本内容，则所述深度学习模型为循环神经网络CNN模型。
5.一种多标签识别网络模型的训练方法，其特征在于，包括：
对样本内容进行特征提取，得到所述样本内容的特征向量；
使用多个分类模型分别对所述样本内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述样本内容的特征向量分类为所述标签的概率；
根据标签依赖矩阵及各所述标签的分类概率，确定所述样本内容的预测标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重；
根据所述样本内容的预测标签序列，以及所述样本内容的真实标签序列，对所述标签依赖矩阵中各权重进行更新。
6.根据权利要求5所述的方法，其特征在于，所述根据所述样本内容的预测标签序列，以及所述样本内容的真实标签序列，对所述标签依赖矩阵中各权重进行更新，包括：
根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的训练得分参数；
根据所述多类标签构成的多个标签序列中所述真实标签序列的训练得分参数，以及所述预测标签序列的训练得分参数，确定所述多标签识别网络模型的损失函数值；其中，所述预测标签序列为所述多个标签序列中训练得分参数最高的标签序列；
根据所述损失函数值，对所述标签依赖矩阵的各权重进行更新。
7.根据权利要求6所述的方法，其特征在于，所述根据所述损失函数值，对所述标签依赖矩阵的各权重进行更新，包括：
根据所述损失函数值，采用梯度下降算法，对所述标签依赖矩阵的各权重进行更新，直至，基于更新之后的权重所得到的损失函数值最小。
8.根据权利要求5-7中任一所述的方法，其特征在于，所述方法还包括：
根据所述预测标签序列与所述真实标签序列中相同的标签数，以及所述预测标签序列的标签数，确定所述多标签识别网络模型的精准率；
和/或，
根据所述相同的标签数，以及所述真实标签序列的标签数，确定所述多标签识别网络模型的召回率。
9.一种多标签识别装置，其特征在于，所述装置包括：
提取模块，用于对待识别内容进行特征提取，得到所述待识别内容的特征向量；
分类模块，用于使用多个分类模型分别对所述待识别内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述待识别内容的特征向量分类为所述标签的概率；
确定模块，用于根据标签依赖矩阵及各所述标签的分类概率，确定所述待识别内容的标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重。
10.根据权利要求9所述的装置，其特征在于，
所述确定模块，用于根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的得分参数；根据所述多类标签构成的多个标签序列的得分参数，从所述多个标签序列中，确定最高得分参数的标签序列为所述待识别内容的标签序列；
其中，所述标签依赖矩阵中各标签之间具有依赖关系的权重包括：每类标签与其他类标签之间具有依赖关系的权重。
11.根据权利要求10所述的装置，其特征在于，
所述确定模块，用于根据所述每个标签序列中各标签的分类概率，确定所述每个标签序列的概率得分；根据所述标签依赖矩阵中各标签之间具有依赖关系的权重，确定所述每个标签序列的关系得分；根据所述每个标签序列的概率得分，和所述每个标签序列的关系得分，确定所述每个标签序列的得分参数。
12.根据权利要求9-11中任一所述的装置，其特征在于，
所述提取模块，用于采用深度学习模型，对所述待识别内容进行特征提取，得到所述待识别内容的特征向量；
其中，若所述待识别内容为图像内容，则所述深度学习模型为卷积神经网络CNN模型；或者，
若所述待识别内容为文本内容，则所述深度学习模型为循环神经网络CNN模型。
13.一种多标签识别网络模型的训练装置，其特征在于，包括：
提取模块，用于对样本内容进行特征提取，得到所述样本内容的特征向量；
分类模块，用于使用多个分类模型分别对所述样本内容的特征向量进行分类，获得各所述分类模型输出的各标签的分类概率，每个分类模型对应一类标签；所述标签的分类概率用于指示所述样本内容的特征向量分类为所述标签的概率；
第一确定模块，用于根据标签依赖矩阵及各所述标签的分类概率，确定所述样本内容的预测标签序列，其中，所述标签依赖矩阵包含各标签之间具有依赖关系的权重；
更新模块，用于根据所述样本内容的预测标签序列，以及所述样本内容的真实标签序列，对所述标签依赖矩阵中各权重进行更新。
14.根据权利要求13所述的装置，其特征在于，
所述第一确定模块，用于根据多类标签构成的每个标签序列中各标签的分类概率，以及所述标签依赖矩阵中所述每个标签序列中各标签之间具有依赖关系的权重，确定所述每个标签序列的训练得分参数；根据所述多类标签构成的多个标签序列中所述真实标签序列的训练得分参数，以及所述预测标签序列的训练得分参数，确定所述多标签识别网络模型的损失函数值；其中，所述预测标签序列为所述多个标签序列中训练得分参数最高的标签序列；
所述更新模块，用于根据所述损失函数值，对所述标签依赖矩阵的各权重进行更新。
15.根据权利要求14所述的装置，其特征在于，
所述更新模块，用于根据所述损失函数值，采用梯度下降算法，对所述标签依赖矩阵的各权重进行更新，直至，基于更新之后的权重所得到的损失函数值最小。
16.根据权利要求13-15中任一所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于根据所述预测标签序列与所述真实标签序列中相同的标签数，以及所述预测标签序列的标签数，确定所述多标签识别网络模型的精准率；和/或，用于根据所述相同的标签数，以及所述真实标签序列的标签数，确定所述多标签识别网络模型的召回率。
CN201910868502.9A 2019-09-12 2019-09-12 多标签识别方法、训练方法及装置 Active CN110688482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910868502.9A CN110688482B (zh) 2019-09-12 2019-09-12 多标签识别方法、训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910868502.9A CN110688482B (zh) 2019-09-12 2019-09-12 多标签识别方法、训练方法及装置

Publications (2)

Publication Number Publication Date
CN110688482A true CN110688482A (zh) 2020-01-14
CN110688482B CN110688482B (zh) 2022-07-12

Family

ID=69109170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910868502.9A Active CN110688482B (zh) 2019-09-12 2019-09-12 多标签识别方法、训练方法及装置

Country Status (1)

Country Link
CN (1) CN110688482B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523578A (zh) * 2020-04-13 2020-08-11 北京推想科技有限公司 图像分类方法及装置、神经网络模型的训练方法及装置
CN111708913A (zh) * 2020-08-19 2020-09-25 腾讯科技（深圳）有限公司 一种标签生成方法、设备及计算机可读存储介质
CN112070138A (zh) * 2020-08-31 2020-12-11 新华智云科技有限公司 多标签混合分类模型的构建方法、新闻分类方法及系统
CN112232524A (zh) * 2020-12-14 2021-01-15 北京沃东天骏信息技术有限公司 多标签信息的识别方法、装置、电子设备和可读存储介质
CN113312430A (zh) * 2020-02-27 2021-08-27 北京京东振世信息技术有限公司 物品的标签序列确定方法、装置、服务器及存储介质
CN113449760A (zh) * 2020-03-27 2021-09-28 北京沃东天骏信息技术有限公司 一种字符识别方法和装置
CN113488164A (zh) * 2021-07-14 2021-10-08 中国科学院自动化研究所 基于数据的知识库心理沙盘分析方法、系统和设备
CN113537339A (zh) * 2021-07-14 2021-10-22 中国地质大学（北京） 一种基于多标签图像分类的识别共生或伴生矿物的方法与系统
WO2023045691A1 (zh) * 2021-09-22 2023-03-30 腾讯科技（深圳）有限公司 对象识别方法、装置、电子设备及存储介质
CN116596012A (zh) * 2023-05-09 2023-08-15 上海银满仓数字科技有限公司 一种基于rfid的商品信息传输方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110119210A1 (en) * 2009-11-16 2011-05-19 c/o Microsoft Corporation Multiple Category Learning for Training Classifiers
CN104881689A (zh) * 2015-06-17 2015-09-02 苏州大学张家港工业技术研究院 一种多标签主动学习分类方法及系统
CN108171254A (zh) * 2017-11-22 2018-06-15 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端
CN109086825A (zh) * 2018-08-03 2018-12-25 北京邮电大学 一种基于模型自适应选择的多分类模型融合方法
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
CN109784406A (zh) * 2019-01-16 2019-05-21 平安科技（深圳）有限公司 一种用户画像方法、装置、可读存储介质及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110119210A1 (en) * 2009-11-16 2011-05-19 c/o Microsoft Corporation Multiple Category Learning for Training Classifiers
CN104881689A (zh) * 2015-06-17 2015-09-02 苏州大学张家港工业技术研究院 一种多标签主动学习分类方法及系统
CN108171254A (zh) * 2017-11-22 2018-06-15 北京达佳互联信息技术有限公司 图像标签确定方法、装置及终端
CN109086825A (zh) * 2018-08-03 2018-12-25 北京邮电大学 一种基于模型自适应选择的多分类模型融合方法
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
CN109784406A (zh) * 2019-01-16 2019-05-21 平安科技（深圳）有限公司 一种用户画像方法、装置、可读存储介质及终端设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312430A (zh) * 2020-02-27 2021-08-27 北京京东振世信息技术有限公司 物品的标签序列确定方法、装置、服务器及存储介质
CN113449760A (zh) * 2020-03-27 2021-09-28 北京沃东天骏信息技术有限公司 一种字符识别方法和装置
CN111523578A (zh) * 2020-04-13 2020-08-11 北京推想科技有限公司 图像分类方法及装置、神经网络模型的训练方法及装置
CN111708913A (zh) * 2020-08-19 2020-09-25 腾讯科技（深圳）有限公司 一种标签生成方法、设备及计算机可读存储介质
CN112070138A (zh) * 2020-08-31 2020-12-11 新华智云科技有限公司 多标签混合分类模型的构建方法、新闻分类方法及系统
CN112070138B (zh) * 2020-08-31 2023-09-05 新华智云科技有限公司 多标签混合分类模型的构建方法、新闻分类方法及系统
CN112232524A (zh) * 2020-12-14 2021-01-15 北京沃东天骏信息技术有限公司 多标签信息的识别方法、装置、电子设备和可读存储介质
CN112232524B (zh) * 2020-12-14 2021-06-29 北京沃东天骏信息技术有限公司 多标签信息的识别方法、装置、电子设备和可读存储介质
CN113488164A (zh) * 2021-07-14 2021-10-08 中国科学院自动化研究所 基于数据的知识库心理沙盘分析方法、系统和设备
CN113537339A (zh) * 2021-07-14 2021-10-22 中国地质大学（北京） 一种基于多标签图像分类的识别共生或伴生矿物的方法与系统
CN113488164B (zh) * 2021-07-14 2022-01-28 中国科学院自动化研究所 基于数据的知识库心理沙盘分析方法、系统和设备
CN113537339B (zh) * 2021-07-14 2023-06-02 中国地质大学（北京） 一种基于多标签图像分类的识别共生或伴生矿物的方法与系统
WO2023045691A1 (zh) * 2021-09-22 2023-03-30 腾讯科技（深圳）有限公司 对象识别方法、装置、电子设备及存储介质
CN116596012A (zh) * 2023-05-09 2023-08-15 上海银满仓数字科技有限公司 一种基于rfid的商品信息传输方法及系统
CN116596012B (zh) * 2023-05-09 2024-05-07 上海银满仓数字科技有限公司 一种基于rfid的商品信息传输方法及系统

Also Published As

Publication number Publication date
CN110688482B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110688482B (zh) 多标签识别方法、训练方法及装置
Sharma et al. Early diagnosis of rice plant disease using machine learning techniques
US11042922B2 (en) Method and system for multimodal recommendations
CN110378731B (zh) 获取用户画像的方法、装置、服务器及存储介质
CN109902849A (zh) 用户行为预测方法及装置、行为预测模型训练方法及装置
CN111784455A (zh) 一种物品推荐方法及推荐设备
CN110245257B (zh) 推送信息的生成方法及装置
CN112288042B (zh) 行为预测系统的更新方法及装置、存储介质和计算设备
CN109189921B (zh) 评论评估模型的训练方法和装置
CN112074828A (zh) 训练图像嵌入模型和文本嵌入模型
CN112380449B (zh) 信息推荐方法、模型训练方法及相关装置
CN109189922B (zh) 评论评估模型的训练方法和装置
US20210241309A1 (en) Predicting Outcomes Via Marketing Asset Analytics
CN111881671A (zh) 一种属性词提取方法
CN113779380B (zh) 跨域推荐、内容推荐方法、装置及设备
CN108876422B (zh) 用于信息推广的方法、装置、电子设备及计算机可读介质
CN116701637B (zh) 一种基于clip的零样本文本分类方法、系统及介质
CN115730217A (zh) 模型的训练方法、物料的召回方法及装置
CN116861107A (zh) 业务内容展示方法、装置、设备、介质和产品
CN114223012A (zh) 推送对象确定方法、装置、终端设备及存储介质
CN115344698A (zh) 标签处理方法、装置、计算机设备、存储介质和程序产品
JP7262335B2 (ja) 予測装置、学習装置、予測方法、及びプログラム
CN115392943A (zh) 发送展示信息的方法、装置、设备和存储介质
Ghosh et al. Understanding Machine Learning
CN110647914A (zh) 智能服务水平训练方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant