CN112232524B - 多标签信息的识别方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本公开提供了一种多标签信息的识别方法、装置、电子设备和可读存储介质，涉及计算机技术领域。其中，多标签信息的识别方法包括：通过训练标签对多标签识别模型进行训练，多标签识别模型的预测分支的输入端引入有循环网络，循环网络用于学习多个训练标签之间的关系；根据多标签识别模型的分支预测结果构建标签限制关系集，标签限制关系集中包括满足预设标签规则的标签组合；获取待识别的多标签消息；根据训练后的多标签识别模型和标签限制关系集，确定多标签信息的识别结果。通过本公开的技术方案，提高了识别多个标签的准确性、可靠性和自洽性。

Description

多标签信息的识别方法、装置、电子设备和可读存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种多标签信息的识别方法、装置、电子设备和可读存储介质。

背景技术

多标签识别是机器学习领域中的一个重要方向，在实际生活中也有着广阔的应用场景。

相关技术中，多标签识别方法大多以深度网络模型为基础特征提取器，以图像的多标签识别方法为例，通过卷积神经网络提取出特征进行识别，至少存在以下技术问题：

（1）针对每个标签进行识别的结果存在自洽性差的问题。

（2）对多个标签识别的后处理过程中，以矩阵或单独一层网络的形式引入，其泛化能力较弱，对训练数据的采集要求更高，尤其是对于长尾标签并不友好。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种多标签信息的识别方法、装置、电子设备和可读存储介质，至少在一定程度上克服由于相关技术中多标签的识别结果自洽性差的问题。

本公开的其他特性和优点将通过后续的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种多标签信息的识别方法，包括：通过训练标签对多标签识别模型进行训练，多标签识别模型的预测分支的输入端引入有循环网络，循环网络用于学习多个训练标签之间的关系；根据预测分支的结果构建标签限制关系集，标签限制关系集中包括满足预设标签规则的标签组合；获取待识别的多标签消息；根据训练后的多标签识别模型和标签限制关系集，确定多标签信息的识别结果。

在本公开的一个实施例中，通过训练标签对多标签识别模型进行训练包括：将训练标签中的第一训练标签输入至循环网络，以获得第一输出标签，将第一输出标签输入至多标签识别模型的第一全连接层，以得到第一预测结果；将第n输出标签和第n+1训练标签输入至循环网络以获得第n+1输出标签，将第n+1输出标签输入至多标签识别模型的第n+1全连接层，以得到第n+1预测结果，n为大于或等于1的整数。

在本公开的一个实施例中，通过训练标签对多标签识别模型进行训练还包括：将多标签识别模型的全连接层的输出端引入损失函数；根据损失函数的输出结果对多标签识别模型进行优化。

在本公开的一个实施例中，损失函数包括交叉熵函数和/或FocalLoss函数。

在本公开的一个实施例中，根据训练后的多标签识别模型和标签限制关系集，确定多标签信息的识别结果包括：将待识别的多标签消息输入至训练后的多标签识别模型，以获取多标签消息中的每个标签的预测置信度；根据预测置信度和标签限制关系集，确定多标签信息的识别结果。

在本公开的一个实施例中，根据预测置信度和标签限制关系集，确定多标签信息的识别结果包括：根据标签限制关系集确定多标签消息中的第m层的第z个标签的预测置信度；对标签的组合的预测置信度求最优解，以获得识别结果。

在本公开的一个实施例中，对标签的组合的预测置信度求最优解，以获得识别结果包括：确定标签的预测置信度的量级；根据量级对标签的组合的预测置信度求最优解，以获得识别结果。

在本公开的一个实施例中，根据量级对标签的组合的预测置信度求最优解，以获得识别结果包括：确定不同粒度的标签的预测置信度之间的第一量级差；确定第一量极差大于第一预设量极差时，对标签的组合的预测置信度进行求积；将求积结果最大的标签的组合确定为识别结果。

在本公开的一个实施例中，根据量级对标签的组合的预测置信度求最优解，以获得识别结果还包括：确定相同粒度的标签的预测置信度之间的第二量级差；确定第二量极差大于第二预设量极差时，对标签的组合的预测置信度进行求和；将求和结果最大的标签的组合确定为识别结果。

在本公开的一个实施例中，循环网络包括循环神经网络、双向循环神经网络、长短期记忆网络和门控单元网络中的一种。

在本公开的一个实施例中，在通过训练标签对多标签识别模型进行训练前，还包括：获取多层标签特征，第k层的标签特征的粒度与第k+1层的粒度不同，k为大于或等于1的整数；对多层标签特征进行预处理，以获得训练标签。

在本公开的一个实施例中，预处理包括随机裁剪、旋转、翻转、色彩调整、加入噪声中的至少一种。

根据本公开的另一个方面，提供一种多标签信息的识别装置，包括：训练模块，用于通过训练标签对多标签识别模型进行训练，多标签识别模型的预测分支的输入端引入有循环网络，循环网络用于学习多个训练标签之间的关系；构建模块，用于根据预测分支的结果构建标签限制关系集，标签限制关系集中包括满足预设标签规则的标签组合；获取模块，用于获取待识别的多标签消息；确定模块，用于根据训练后的多标签识别模型和标签限制关系集，确定多标签信息的识别结果。

根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的多标签信息的识别方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一项的多标签信息的识别方法。

本公开的实施例所提供的多标签信息的识别方案，通过在多标签识别模型的预测分支的输入端引入循环网络，并根据预测分支的结果构建标签限制关系集，通过标签限制关系集对识别的标签之间的限制，大大地提升了标签识别结果的自洽性、可靠性和准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中一种多标签信息的识别方法的流程图；

图2示出本公开实施例中另一种多标签信息的识别方法的流程图；

图3示出本公开实施例中又一种多标签信息的识别方法的流程图；

图4示出本公开实施例中又一种多标签信息的识别方法的流程图；

图5示出本公开实施例中又一种多标签信息的识别方法的流程图；

图6示出本公开实施例中又一种多标签信息的识别方法的流程图；

图7示出本公开实施例中又一种多标签信息的识别方法的流程图；

图8示出本公开实施例中又一种多标签信息的识别方法的流程图；

图9示出本公开实施例中又一种多标签信息的识别方法的流程图；

图10示出本公开实施例中又一种多标签信息的识别平台的示意图；

图11示出本公开实施例中一种多标签信息的识别装置的示意图；

图12示出本公开实施例中一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开提供的方案，通过在多标签识别模型的预测分支的输入端引入循环网络，并根据预测分支的结果构建标签限制关系集，通过标签限制关系集对识别的标签之间的限制，大大地提升了标签识别结果的自洽性、可靠性和准确性。

上述多标签信息的识别方案可以通过多个终端和服务器集群的交互实现。

终端可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、MP4（MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、智能家居设备、AR（Augmented Reality，增强现实）设备、VR（Virtual Reality，虚拟现实）设备等移动终端，或者，终端也可以是个人计算机（Personal Computer，PC），比如膝上型便携计算机和台式计算机等等。

其中，终端中可以安装有用于提供多标签信息的识别的应用程序。

终端与服务器集群之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

服务器集群是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。服务器集群用于为提供多标签信息的识别的应用程序提供后台服务。可选地，服务器集群承担主要计算工作，终端承担次要计算工作；或者，服务器集群承担次要计算工作，终端承担主要计算工作；或者，终端和服务器集群之间采用分布式计算架构进行协同计算。

在一些可选的实施例中，后缀树索引最开始是用来索引字符串，能够提高字符串后缀搜索的性能。在轨迹数据管理中，匹配后的轨迹可以看作是一个字符串，每个路段的标识等价于字符串的一个字符，路径查询（不考虑时间过滤条件）可以映射成字符串的后缀搜索问题，即：利用路段标识序列进行搜索可以看作是利用字符序列进行搜索。

可选地，不同的终端中安装的应用程序的客户端是相同的，或两个终端上安装的应用程序的客户端是不同控制系统平台的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端或者全球广域网客户端等。

本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本公开实施例对终端的数量和设备类型不加以限定。

可选的，该系统还可以包括管理设备，该管理设备与服务器集群之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网（Local Area Network，LAN）、城域网（Metropolitan Area Network，MAN）、广域网（W标识e Area Network，WAN）、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合）。在一些实施例中，使用包括超文本标记语言（Hyper Text Mark-up Language，HTML）、可扩展标记语言（ExtensibleMarkupLanguage，XML）等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层（Secure Socket Layer，SSL）、传输层安全（Transport Layer Security，TLS）、虚拟专用网络（Virtual Private Network，VPN）、网际协议安全（InternetProtocolSecurity，IPsec）等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

下面，将结合附图及实施例对本示例实施方式中的多标签信息的识别方法的各个步骤进行更详细的说明。

图1示出本公开实施例中一种多标签信息的识别方法流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行。

如图1所示，电子设备执行多标签信息的识别方法，包括以下步骤：

步骤S102，通过训练标签对多标签识别模型进行训练，多标签识别模型的预测分支的输入端引入有循环网络，循环网络用于学习多个训练标签之间的关系。

步骤S104，根据预测分支的结果构建标签限制关系集，标签限制关系集中包括满足预设标签规则的标签组合。

步骤S106，获取待识别的多标签消息。

步骤S108，根据训练后的多标签识别模型和标签限制关系集，确定多标签信息的识别结果。

在本公开的一个实施例中，通过训练标签对多标签识别模型进行训练，多标签识别模型的预测分支的输入端引入有循环网络，根据预测分支的结果构建标签限制关系集，来提升对多标签识别的自洽性、准确性和可靠性。

其中，标签限制关系集用于存储可能存在的标签组合，循环网络结构能够在网络训练中充分利用标签限制关系集中的标签关系，以提高标签预测准确率和标签预测的自恰性。

基于图1所示的步骤，如图2所示，通过训练标签对多标签识别模型进行训练包括：

步骤S2022，将训练标签中的第一训练标签输入至循环网络，以获得第一输出标签，将第一输出标签输入至多标签识别模型的第一全连接层，以得到第一预测结果。

步骤S2024，将第n输出标签和第n+1训练标签输入至循环网络以获得第n+1输出标签，将第n+1输出标签输入至多标签识别模型的第n+1全连接层，以得到第n+1预测结果，n为大于或等于1的整数。

在本公开的一个实施例中，自第二层预测分支起，通过循环网络对预测分支的输出标签进行迭代，即将第n输出标签和第n+1训练标签输入至循环网络以获得第n+1输出标签，将第n+1输出标签输入至多标签识别模型的第n+1全连接层，以得到第n+1预测结果，以预测n+1个标签的所有组合方式的识别结果，以训练确定多个标签之间组合的准确率和自洽性。

基于图1所示的步骤，如图3所示，通过训练标签对多标签识别模型进行训练还包括：

步骤S3022，将多标签识别模型的全连接层的输出端引入损失函数。

步骤S3024，根据损失函数的输出结果对多标签识别模型进行优化。

在本公开的一个实施例中，损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分，在公开的实施例中，通过设置正则项前面的超参数，来权衡损失函数和正则项，减小参数规模，达到模型简化的目的，从而使识别模型具有更好的泛化能力。

在本公开的一个实施例中，损失函数包括交叉熵函数和/或FocalLoss函数。

其中，交叉熵(CrossEntropy，简称CE)在机器学习中经常作为分类任务的Loss，交叉熵可以从KL（Kullback-Leibler Divergence，相对熵）散度定义中导出，计算交叉熵的时候实际上只用了一个概率值，这里虽然只用了一个概率值，但是由于预测的概率是通过softmax计算的，所以这一个概率值随着优化变大，其他的概率值相应的就会变小，所以整体上还是实现了对整个概率分布进行优化的目标。

实际数据很有可能会存在类别不平衡的情况，这时候交叉熵的效果就会受到限制，下面介绍的Focal Loss是在CE基础上进行了改进，解决了样本不平衡的问题。

基于图1所示的步骤，如图4所示，根据训练后的多标签识别模型和标签限制关系集，确定多标签信息的识别结果包括：

步骤S4082，将待识别的多标签消息输入至训练后的多标签识别模型，以获取多标签消息中的每个标签的预测置信度。

步骤S4084，根据预测置信度和标签限制关系集，确定多标签信息的识别结果。

在本公开的一个实施例中，通过预测置信度和标签限制关系集，确定多标签信息的识别结果，以提高多标签识别的可靠性、准确性和自洽性。

其中，对于未构建好标签体系的任务来说，须遵循两个原则：一方面，同层次标签互斥，即同层次的不同标签不会同时被赋予一个样本，如人物图像的男性、女性两个标签可作为同层次标签；另一方面不同层标签可同时赋予一个样本，以此确保层次数量最小化。

基于图1所示的步骤，如图5所示，根据预测置信度和标签限制关系集，确定多标签信息的识别结果包括：

步骤S5082，根据标签限制关系集确定多标签消息中的第m层的第z个标签的预测置信度。

步骤S5084，对标签的组合的预测置信度求最优解，以获得识别结果。

在本公开的一个实施例中，基于获取得到的预测结果和标签限制集合T。对于第n层（n∈[1,N]）第i个的标签L_n,i，其预测置信度为P_n,i，那么按照如下公式获取最优的预测结果：

其中，D()为计算不同标签组合整体预测置信度的公式，根据实际场景可以选择求和、求积等不同方式。而求最大值的过程，也可以选择多种现有方法，如最简单的转化为所有可能组合的遍历问题，或者转化为在图中搜索最短路径的问题等，但不限于此。

基于图1所示的步骤，如图6所示，对标签的组合的预测置信度求最优解，以获得识别结果包括：

步骤S6082，确定标签的预测置信度的量级。

步骤S6084，根据量级对标签的组合的预测置信度求最优解，以获得识别结果。

在本公开的一个实施例中，通过确定标签的预测置信度的量级，根据量级对标签的组合的预测置信度求最优解，以获得识别结果，极大地提高了标签预测准确率和标签预测的自洽性。

基于图1和图6所示的步骤，如图7所示，根据量级对标签的组合的预测置信度求最优解，以获得识别结果包括：

步骤S70842，确定不同粒度的标签的预测置信度之间的第一量级差。

步骤S70844，确定第一量极差大于第一预设量极差时，对标签的组合的预测置信度进行求积。

步骤S70846，将求积结果最大的标签的组合确定为识别结果。

在本公开的一个实施例中，当不同粒度（层次）标签输出预测置信度量级相差较大的时候，选择求积的方式，更有利于展现出不同层次标签置信度的差异。

基于图1和图6所示的步骤，如图8所示，根据量级对标签的组合的预测置信度求最优解，以获得识别结果还包括：

步骤S80842，确定相同粒度的标签的预测置信度之间的第二量级差。

步骤S80844，确定第二量极差大于第二预设量极差时，对标签的组合的预测置信度进行求和。

步骤S80846，将求和结果最大的标签的组合确定为识别结果。

在本公开的一个实施例中，当同层次标签输出预测置信度量级相差较大时，选择求和的方式，更有利于矫正预测错误的情况。

在本公开的一个实施例中，循环网络包括循环神经网络、双向循环神经网络、长短期记忆网络和门控单元网络中的一种。

基于图1所示的步骤，如图9所示，在通过训练标签对多标签识别模型进行训练前，还包括：

步骤S902，获取多层标签特征，第k层的标签特征的粒度与第k+1层的粒度不同，k为大于或等于1的整数；对多层标签特征进行预处理，以获得训练标签。

在本公开的一个实施例中，预处理包括随机裁剪、旋转、翻转、色彩调整、加入噪声中的至少一种。

其中，预处理就是深度学习的数据增强，引入数据增强是为了在一定程度上扩充数据集的多样性，加入适当干扰增加模型的泛化能力。

下面参照图10来描述根据本公开的这种实施方式的多标签信息的识别装置1000。图10所示的多标签信息的识别装置1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

多标签信息的识别装置1000以硬件模块的形式表现。多标签信息的识别装置1000的组件可以包括但不限于：训练模块1002、构建模块1004、获取模块1006和确定模块1008。

训练模块1002，用于通过训练标签对多标签识别模型进行训练，多标签识别模型的预测分支的输入端引入有循环网络，循环网络用于学习多个训练标签之间的关系；

构建模块1004，用于根据预测分支的结果构建标签限制关系集，标签限制关系集中包括满足预设标签规则的标签组合；

获取模块1006，用于获取待识别的多标签消息；

确定模块1008，用于根据训练后的多标签识别模型和标签限制关系集，确定多标签信息的识别结果。

下面参照图11来描述根据本公开的这种实施方式的多标签信息的识别平台。图11所示的多标签信息的识别平台仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，多标签信息的识别平台包括样本数据1102、特征选取网络1104、循环网络1106、全连接层和各个预测分支的结果，具体通过以下步骤实现多标签的识别：

a）标签体系构建：

多标签识别任务中的标签之间虽然相对独立但可以被组织到一个层次化结构中，但是，样本数据1102需要分层处理。

分层的逻辑在于找到不同粒度的标签之间的从属关系，进而形成树状的标签体系。

可例如，不同识别任务下的分类逻辑所有区别，比如对于服饰相关的标签体系可以这样构建：

一级标签：上衣、下衣。

二级标签：T恤、外套（属于一级标签上衣的二级标签）；裙子、短裤（属于一级标签下衣的二级标签）。

三级标签：短袖T恤、长袖T恤（属于二级标签T恤的三级标签）；短裙、长裙（属于二级标签裙子的三级标签）。

对于未构建好标签体系的任务来说，须遵循两个原则：一方面，同层次标签互斥，即同层次的不同标签不会同时被赋予一个样本，如人物图像的男性、女性两个标签可作为同层次标签；另一方面，不同层标签可同时赋予一个样本，以此确保层次数量最小化，但不限于此。

b）数据收集及预处理：

通过特征选取网络1104对训练数据进行标注、收集，并对训练数据做预处理，得到第一层预测分支的训练数据x₁、第二层预测分支的训练数据x₂、第三层预测分支的训练数据x₃，……，第n层预测分支的训练数据x_n。

c）训练网络搭建：

作为本公开的主要改进点，该步骤在搭建训练网络时，在标签的预测分支前引入循环网络1106，以学习标签之间的关系。

（1）样本数据1102适用于不同域的数据，例如文本、音频、图像等。特征提取网络1104只需使用输入的样本数据即可，可以选用当前主流的深度学习网络。

（2）通过特征提取网络1104，可以提取到对应不同层次的输入特征x₁~x_n。对于多分支网络结构，输入特征x₁~x_n是不同的，但是维度相同，对于单分支结构，输入特征可以是完全相同的。

（3）循环网络1106也有多种候选，比如如图10所示的RNN（循环神经网络）、双向RNN（双向循环神经网络）、LSTM（长短期记忆网络）、GRU（门控单元网络）等。

（4）输入特征经循环网络1106的W函数计算后，输出结果包括第一预测分支的特征y₁、第二预测分支的特征y₂、第三预测分支的特征y₃和第n预测分支的特征y_n。可例如，循环网络1106的第一预测分支的特征y₁迭代至第二预测分支的输入端，第二预测分支的预测结果包含第一层预测分支的训练数据x₁和第二层预测分支的训练数据x₂的预测结果，也包含了第一层预测分支的训练数据x₁和第二层预测分支之间的限制关系。

循环网络1106的后面则对应相应的全连接层，可例如，第一全连接层FC₁、第二全连接层FC₂、第三全连接层FC₃，……，第n全连接层FC_n。

全连接层输出不同层的标签的预测结果，可例如，第一层预测结果、第二层预测结果、第三层预测结果，……，第n层预测结果。

识别模型的训练过程中，不同层次的全连接层后使用训练分类模型的损失函数即可，可例如，交叉熵、FocalLoss等损失函数，但不限于此。

d）预测结果获取：

该步骤收集识别模型对样本数据1102的预测结果，即对每个标签归一化的置信度。

e）标签限制关系构建：

作为本公开的一个主要改进点，标签限制关系集的构建是用于放宽后处理的限制，实现一个柔性的后处理流程。基于对训练数据的统计，可以得到不同层次标签共同出现的所有可能的情况，即产生一个标签限制关系集T，该集合包含是否存在标签组合，而不是现有方法存在标签组合的概率，依靠标签预测准确率的提升来增强识别模型的泛化能力，降低了对长尾标签不友好的概率。

f）最终预测结果输出：

基于获取得到的预测结果和标签限制集合T。

对于第n层（n∈[1,N]）的第i个的标签L_n,i，其预测置信度为P_n,i，那么按照如下公式获取最优的预测结果：

其中，D()为计算不同标签组合整体预测置信度的公式，根据实际场景可以选择求和、求积等不同方式。而求最大值的过程，也可以选择多种现有方法，如最简单的转化为所有可能组合的遍历问题，或者转化为在图中搜索最短路径的问题等，但不限于此。

另外，D()也可以拓展为其他方式：比如基于阈值的求和/求积的计算方式，可以降低异常值（outlier）对整体预测结果的影响；带权重的求和/求积的计算方式，可以提升/降低某些层次标签置信度对整体预测结果的影响。

在本公开的多标签信息的识别方案中，首先，通过引入循环网络能够在网络训练中充分利用标签间关系，以提高标签预测准确率和标签预测的自洽性。其次，通过构建柔性的后处理流程，作为提高标签预测自洽性的保障，同时避免后处理过拟合到当前训练数据的分布上，减少了对长尾标签不友好的情况。

下面参照图12来描述根据本公开的这种实施方式的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件（包括存储单元1220和处理单元1210）的总线1230。

其中，存储单元存储有程序代码，程序代码可以被处理单元1210执行，使得处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元1210可以执行本公开的多标签信息的识别方法中限定的步骤。

存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）12201和/或高速缓存存储单元12202，还可以进一步包括只读存储单元（ROM）12203。

存储单元1220还可以包括具有一组（至少一个）程序模块12205的程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1200也可以与一个或多个外部设备1240（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口1250进行。并且，电子设备1200还可以通过网络适配器1110与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信，网络适配器1110通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RA标识系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器（CD-ROM）并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端、或者网络设备等）执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种多标签信息的识别方法，其特征在于，包括：

通过训练标签对多标签识别模型进行训练，所述多标签识别模型的预测分支的输入端引入有循环网络，所述循环网络用于学习多个训练标签之间的关系；

根据所述预测分支的结果构建标签限制关系集，所述标签限制关系集中包括满足预设标签规则的标签组合；

获取待识别的多标签消息；

根据训练后的多标签识别模型和所述标签限制关系集，确定所述多标签信息的识别结果，包括：

将待识别的多标签消息输入至训练后的多标签识别模型，以获取所述多标签消息中的每个标签的预测置信度；

根据所述预测置信度和所述标签限制关系集，确定所述多标签信息的识别结果，包括：

确定不同粒度的所述标签的预测置信度之间的第一量级差；

确定所述第一量级 差大于第一预设量极差时，对所述标签的组合的预测置信度进行求积；

将求积结果最大的标签的组合确定为所述识别结果；

或，确定相同粒度的所述标签的预测置信度之间的第二量级差；

确定所述第二量级 差大于第二预设量极差时，对所述标签的组合的预测置信度进行求和；

将求和结果最大的标签的组合确定为所述识别结果。

2.根据权利要求1所述的多标签信息的识别方法，其特征在于，通过训练标签对多标签识别模型进行训练包括：

将所述训练标签中的第一训练标签输入至所述循环网络，以获得第一输出标签，将所述第一输出标签输入至所述多标签识别模型的第一全连接层，以得到第一预测结果；

将第n输出标签和第n+1训练标签输入至所述循环网络以获得第n+1输出标签，将所述第n+1输出标签输入至所述多标签识别模型的第n+1全连接层，以得到第n+1预测结果，所述n为大于或等于1的整数。

3.根据权利要求1所述的多标签信息的识别方法，其特征在于，通过训练标签对多标签识别模型进行训练还包括：

将所述多标签识别模型的全连接层的输出端引入损失函数；

根据损失函数的输出结果对所述多标签识别模型进行优化。

4.根据权利要求3所述的多标签信息的识别方法，其特征在于，

所述损失函数包括交叉熵函数和/或FocalLoss函数。

5.根据权利要求4所述的多标签信息的识别方法，其特征在于，根据所述预测置信度和所述标签限制关系集，确定所述多标签信息的识别结果包括：

根据所述标签限制关系集确定所述多标签消息中的第m层的第z个标签的预测置信度；

对所述标签的组合的预测置信度求最优解，以获得所述识别结果。

6.根据权利要求1-5中任一项所述的多标签信息的识别方法，其特征在于，

所述循环网络包括循环神经网络、双向循环神经网络、长短期记忆网络和门控单元网络中的一种。

7.根据权利要求1-5中任一项所述的多标签信息的识别方法，其特征在于，在通过训练标签对多标签识别模型进行训练前，还包括：

获取多层标签特征，第k层的所述标签特征的粒度与第k+1层的粒度不同，所述k为大于或等于1的整数；

对所述多层标签特征进行预处理，以获得所述训练标签。

8.根据权利要求7所述的多标签信息的识别方法，其特征在于，

所述预处理包括随机裁剪、旋转、翻转、色彩调整、加入噪声中的至少一种。

9.一种多标签信息的识别装置，其特征在于，包括：

训练模块，用于通过训练标签对多标签识别模型进行训练，所述多标签识别模型的预测分支的输入端引入有循环网络，所述循环网络用于学习多个训练标签之间的关系；

构建模块，用于根据所述预测分支的结果构建标签限制关系集，所述标签限制关系集中包括满足预设标签规则的标签组合；

获取模块，用于获取待识别的多标签消息；

确定模块，用于根据训练后的多标签识别模型和所述标签限制关系集，确定所述多标签信息的识别结果，包括：

将待识别的多标签消息输入至训练后的多标签识别模型，以获取所述多标签消息中的每个标签的预测置信度；

根据所述预测置信度和所述标签限制关系集，确定所述多标签信息的识别结果，包括：

确定不同粒度的所述标签的预测置信度之间的第一量级差；

确定所述第一量级 差大于第一预设量极差时，对所述标签的组合的预测置信度进行求积；

将求积结果最大的标签的组合确定为所述识别结果；

或，确定相同粒度的所述标签的预测置信度之间的第二量级差；

确定所述第二量级 差大于第二预设量极差时，对所述标签的组合的预测置信度进行求和；

将求和结果最大的标签的组合确定为所述识别结果。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8中任一项所述的多标签信息的识别方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的多标签信息的识别方法。

Images