CN113780514A - 图像识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开实施例提供了一种图像识别方法、装置、电子设备及存储介质。该方法包括：获取待识别图像；以及，利用目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果，其中，目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的，其中，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本为在原始图像上设置第一标识得到的图像，每个样本图像组中的负样本为原始图像或在原始图像上设置第二标识得到的图像，其中，第一标识和第二标识具有关联关系。

Description

图像识别方法、装置、电子设备及存储介质

技术领域

本公开实施例涉及计算机技术领域，更具体地，涉及一种图像识别方法、装置、电子设备及存储介质。

背景技术

在相关技术中，通常某些对象上设置有标识，其中，标识用于传递信息或吸引注意力，标识可以根据实际情况进行改变。

例如，对象为商品，商品可以为在网购平台上售卖的商品。为了提高销量，网购平台或者入驻网络平台的商家，会开展多轮促销活动，例如，年货节促销、五一促销、国庆节促销、双十一促销和双十二促销等。为了使得用户可以识别参与促销活动商品，会在参与促销活动的商品上设置促销活动标识，通常不同促销活动的促销活动标识不同。在这个过程中，商家有可能为了促销而违规打标，或者，在促销活动结束后，由于没有及时撤销标识而影响到网购平台的正常运营。无论是在促销活动中，需要识别促销商品，以实现监管，还是在促销活动结束之后，需要撤销促销标识以不影响网购平台的正常运营，都需要对标识进行识别。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：采用相关技术对图像中的标识进行识别耗费的成本较高且识别效率较低。

发明内容

有鉴于此，本公开实施例提供了一种图像识别方法、装置、电子设备及存储介质。

本公开实施例的一个方面提供了一种图像识别方法，该方法包括：获取待识别图像；以及，利用目标标识识别模型处理上述待识别图像，得到用于表征上述待识别图像是否包括目标标识的识别结果，其中，上述目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对上述卷积神经网络模型进行训练得到的，其中，每个上述样本图像组包括一个正样本和一个负样本，每个上述样本图像组中的上述正样本为在原始图像上设置第一标识得到的图像，每个上述样本图像组中的上述负样本为上述原始图像或在上述原始图像上设置第二标识得到的图像，其中，上述第一标识和上述第二标识具有关联关系。

根据本公开的实施例，每个上述样本图像组具有对应的原始图像；

通过如下方式获取与每个上述样本图像组对应的原始图像：

获取多个类目中与每个上述类目对应的至少一个原始图像，其中，不同上述类目下的原始图像的数量满足预设条件。

根据本公开的实施例，上述第一标识和上述第二标识具有关联关系，包括：上述第一标识与上述第二标识的相似度大于或等于相似度阈值且上述第一标识和上述第二标识为不同的标识；或，上述第二标识为覆盖上述第一标识的部分后得到的标识。

根据本公开的实施例，上述目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对上述卷积神经网络模型进行训练得到的，包括：获取多个上述样本图像组，其中，每个上述样本图像组包括一个正样本和一个负样本，每个上述样本图像组中的上述正样本和上述负样本具有关联关系；获取每个上述正样本的真实标注信息和每个上述负样本的真实标注信息；将多个上述样本图像组中的上述正样本和上述负样本交替输入到上述卷积神经网络模型，分别输出每个上述正样本的预测标注信息和每个上述负样本的预测标注信息；以及，根据多个上述正样本的真实标注信息、多个上述负样本的真实标注信息、多个上述正样本的预测标注信息和多个上述负样本的预测标注信息训练上述卷积神经网络模型，得到上述目标标识识别模型。

根据本公开的实施例，上述获取每个上述正样本的真实标注信息和每个上述负样本的真实标注信息，包括：获取每个上述正样本的初始标注信息和每个上述负样本的初始标注信息；以及，对每个上述样本图像组中的上述上述正样本的初始标注信息和上述负样本的初始标注信息进行标签平滑处理，得到每个上述样本图像组中的上述正样本的真实标注信息和上述负样本的真实标注信息。

根据本公开的实施例，上述根据多个上述正样本的真实标注信息、多个上述负样本的真实标注信息、多个上述正样本的预测标注信息和多个上述负样本的预测标注信息训练上述卷积神经网络模型，得到上述目标标识识别模型，包括：根据多个上述正样本的真实标注信息、多个上述负样本的真实标注信息、多个上述正样本的预测标注信息和多个上述负样本的预测标注信息，确定错误标注信息；确定与上述错误标注信息对应的样本图像；根据与上述错误标注信息对应的样本图像，确定新的负样本和与上述新的负样本对应的新的正样本；获取上述新的正样本的真实标注信息和上述新的负样本的真实标注信息；将上述新的正样本和上述新的负样本交替输入到上述卷积神经网络模型，分别输出上述新的正样本的预测标注信息和上述新的负样本的预测标注信息；以及，根据上述新的正样本的真实标注信息、上述新的负样本的真实标注信息、上述新的正样本的预测标注信息和上述新的负样本的预测标注信息训练上述卷积神经网络模型，得到上述目标标识识别模型。

根据本公开的实施例，上述样本图像组包括平移、旋转、裁剪、非刚性变换、噪声扰动和颜色变换中的至少一种处理后得到的图像。

本公开实施例的另一个方面提供了一种图像识别装置，该装置包括：获取模块，用于获取待识别图像；以及，处理模块，用于利用目标标识识别模型处理上述待识别图像，得到用于表征上述待识别图像是否包括目标标识的识别结果，其中，上述目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对上述卷积神经网络模型进行训练得到的，其中，每个上述样本图像组包括一个正样本和一个负样本，每个上述样本图像组中的上述正样本为在原始图像上设置第一标识得到的图像，每个上述样本图像组中的上述负样本为上述原始图像或在上述原始图像上设置第二标识得到的图像，其中，上述第一标识和上述第二标识具有关联关系。

本公开实施例的另一个方面提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。

本公开实施例的另一个方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的方法。

本公开实施例的另一个方面提供了一种计算机程序，上述计算机程序包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

根据本公开的实施例，通过利用将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本和负样本具有关联关系。由于采用基于卷积神经网络模型训练生成的目标标识识别模型识别待识别图像中是否包括目标标识，目标标识识别模型的识别效率较高，且在这个过程中，无需人工参与审核，因此，降低了标识识别的成本和提高了识别效率，因而，至少部分地克服了采用相关技术对图像中的标识进行识别耗费的成本较高且识别效率较低的技术问题。由于每个样本图像组包括一个正样本和一个负样本，因此，保证了正负样本的平衡。在此基础上，由于采用多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，以对卷积神经网络模型进行训练，因此，使得卷积神经网络模型可以对比学习到正样本和负样本的特征。由于可以对比学习具有关联关系的正样本和负样本的特征，因此，实现了对正样本的有效识别，进而保证了目标标识识别模型标识识别的准确率。此外，以多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练也加快了模型训练速度。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的可以应用图像识别方法的示例性系统架构；

图2示意性示出了根据本公开实施例的一种图像识别方法的流程图；

图3示意性示出了根据本公开实施例的一种第一标识的示意图；

图4示意性示出了根据本公开实施例的一种第二标识的示意图；

图5示意性示出了根据本公开实施例的一种正样本生成过程的示意图；

图6示意性示出了根据本公开实施例的一种负样本生成过程的示意图；

图7示意性示出了根据本公开实施例的一种多个样本图像组中的正样本和负样本交替输入到卷积审核网络模型的示意图；

图8示意性示出了根据本公开实施例的另一种第二标识的示意图；

图9示意性示出了根据本公开实施例的另一种图像识别方法的流程图；

图10示意性示出了根据本公开实施例的一种目标标识识别模型生成过程的示意图；

图11示意性示出了根据本公开实施例的一种图像识别方法的示意图；

图12示意性示出了根据本公开的实施例的一种图像识别装置的框图；以及

图13示意性示出了根据本公开实施例的适于实现图像识别方法的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在实现本公开的过程中，发明人发现，通常需要设置标识的对象的数量比较多。此外，标识的更新周期较短、尺寸比较小且样式比较多。同时，与标识相关的干扰元素也比较多，并且，干扰元素是不断变化的。通常干扰元素的数量比标识的数量多很多。其中，标识的尺寸比较小体现在通常标识在图像中的占比很小，一般不会超过图像总面积的1/9。样式比较多可以体现在同一标识在不同对象上的位置不同、形状不同、颜色不同和与对象上的其他元素的遮挡情况不同等。干扰元素是指对识别待识别的标识有影响的元素，如干扰元素与待识别的标识的相似度大于或等于相似度阈值。

在实现本公开构思的过程中，发明人发现识别具有上述特征的标识问题实质上是一个无数据无边界的识别问题。其中，无数据是指没有可以采用的已标注好的数据集。无边界是指数据集是一个开集。具体来说，由于需要设置标识的对象的数量比较多、标识的更新周期较短和与标识相关的干扰元素较多，而数据标注需要投入大量的人力和物力且需要花费较长的时间，因此，较难于生成大量具有真实标注信息的样本图像，其中，较难标注体现在标识较难标注和干扰元素较难标注。由于与标识相关的干扰元素是不断变化的，因此，数据集是一个开集。

在相关技术中，通常采用人工审核的方法来识别标识。由于设置有标识的对象数量较大，因此，需要投入大量的人力进行审核，进而，需要花费较高的人力物力成本。此外，人工审核的效率不高，难以满足业务需求。

为了解决相关技术中存在的问题，发明人发现标识识别可以理解为一个图像分类问题，并且是一个二分类问题。可以采用卷积神经网络模型处理图像分类问题。但如果采用卷积神经网络模型处理图像分类问题，则需要获取大量有真实标注信息的样本图像作为训练样本对模型进行训练，以得到预测精度较高的标识识别模型。而正如上文所述，具有上述特征的标识问题实质上是一个无数据无边界的识别问题。此外，由于待识别图像量大，因此，还要求模型具有较高的预测速度。由此可见，需要解决上述问题才能够实现基于卷积神经网络模型的标识识别。下面将结合具体实施例进行说明。

本公开的实施例提供了一种图像识别方法、装置以及能够应用该方法的电子设备。该方法包括训练过程和预测过程。在训练过程中，将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到目标标识识别模块，其中，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本和负样本具有关联关系。在预测过程中，获取待识别图像，利用目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果。

图1示意性示出了根据本公开实施例的可以应用图像识别方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的图像识别方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像识别装置一般可以设置于服务器105中。本公开实施例所提供的图像识别方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像识别装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的图像识别方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的图像识别装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。

例如，待识别图像和多个样本图像组可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的图像识别方法，或者将待识别图像和多个样本图像组发送到其他终端设备、服务器、或服务器集群，并由接收该待识别图像和多个样本图像组的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的图像识别方法。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的一种图像识别方法的流程图。

如图2所示，该方法包括操作S210～S220。

在操作S210，获取待识别图像。

在本公开的实施例中，待识别图像可以指需要进行标识识别的图像。待识别图像可以为商品图像。示例性的，如待识别图像为某型号的智能手机图像。

在操作S220，利用目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果，其中，目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的，其中，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本为在原始图像上设置第一标识得到的图像，每个样本图像组中的负样本为原始图像或在原始图像上设置第二标识得到的图像，其中，第一标识和第二标识具有关联关系。

在本公开的实施例中，为了降低标识识别的成本和提高识别效率，可以采用将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，对卷积神经网络模型进行训练得到的目标标识识别模型处理待识别图像的方式。其中，每个样本图像组可以包括具体关联关系的一个正样本和一个负样本。

根据本公开的实施例，可以将上述训练卷积神经网络模型的方式称为对比训练。对比训练即包括两个方面的内容，其一，每个样本图像组中的正样本和负样本具有关联关系；其二，输入方式为正样本和负样本交替输入。其中，第一方面是第二方面的基础。即由于每个样本图像组中的正样本和负样本具有关联关系，因此，使得采用正样本和负样本交替输入的输入方式训练得到的目标标识识别模型的预测精度得到提高，进而提高了标识识别的准确率。

根据本公开的实施例，采用上述对比训练方式得到的目标标识识别模型可以保证较高的标识识别的准确率，其原因在于：标识识别是一个二分类问题，基于卷积神经网络模型训练生成的目标标识识别模型存在由于正负样本不平衡所导致的类别不平衡问题，上述问题使得目标标识识别模型的预测精度不高。这是由于：如果正样本数量过少，则使得卷积神经网络模型由于无法提取到有效特征，而无法很好的对正样本进行有效识别，出现过拟合，即卷积神经网络模型很容易拟合到与标识无关的部分。

为了实现对正样本的有效识别，需要平衡正负样本。在此基础上，如果正负样本具有关联关系，则可以改变样本输入卷积神经网络模型的方式，以使卷积神经网络模型可以更好的学习到特征。通过设置具有关联关系的一个正样本和一个负样本组成样本图像组，实现了平衡正负样本，即正样本的数量和负样本的数量保持一致，增加了对正样本的有效识别的可能性。由于样本图像组中的正样本和负样本具有关联关系，因此，设置多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，使得卷积神经网络模型可以对比学习到正样本和负样本的特征。由于可以对比学习具有关联关系的正样本和负样本的特征，因此，实现了对正样本的有效识别，进而保证了目标标识识别模型标识识别的准确率。此外，以多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练也加快了模型训练速度。

根据本公开的实施例，本公开实施例采用的正样本和负样本交替输入到卷积神经网络模型的输入方式改变了相关技术中所采用的Shuffle(即洗牌)方法处理正样本和负样本的方式。

根据本公开的实施例，针对每个样本图像组中的正样本和负样本具有关联关系可以指每个样本图像组中的正样本和负样本包括相同图像部分和不同图像部分。其中，相同的图像部分和不同的图像部分可以体现在图像的主要元素相同，所不同的是正样本可以包括标识，负样本可以不包括标识或者所包括的标识不同于正样本所包括的标识。针对每个样本图像组中的正样本和负样本可以通过如下方式生成：获取多个类目中每个类目下的至少一个原始图像，不同类目下的原始图像的数量满足预设条件。针对每个原始图像，在该原始图像上设置第一标识得到样本图像组中的正样本。将该原始图像作为负样本或者在该原始图像上设置第二标识得到负样本。其中，每个样本图像组是基于对同一原始图像进行不同处理得到。不同类目下的原始图像的数量满足预设条件可以理解为不同类目下的原始图像的数量相同，或者，任意两个类目下的原始图像的数量的差值的绝对值小于或等于预设阈值，预设阈值为大于零的整数。示例性的，如预设阈值为10。类目可以指商品类目。商品类目可以包括手机数码、电脑办公、家用电器、母婴童装和箱包手袋等。

根据本公开的实施例，可以采用样本抽样方法从多个类目下获取与每个类目对应的至少一个原始图像，其中，样本抽样方法可以包括概率抽样方法或非概率抽样方法，其中，概率抽样方法可以包括简单随机抽样方法、系统抽样方法、分层抽样方法或整群抽样方法。非概率抽样方法可以包括便利抽样方法、配额抽样方法、判断抽样方法或雪球抽样方法。可以根据实际情况选择样本抽样方法，本公开实施例对此不作限定。

需要说明的是，不同样本图像组对应的原始图像可能相同，也可能不同。不同样本图像组中的正样本可能相同，也可能不同。不同样本图像组中的负样本通常不同。如果不同样本图像组对应的原始图像相同，则不同样本图像组中的正样本相同，而负样本不同。如果不同样本图像组对应的原始图像不同，则不同样本图像组中的正样本不同，且，负样本不同。

根据本公开的实施例，通常会以预设概率选取部分原始图像，在选取出的原始图像上采用在原始图像上设置第二标识的方式来生成负样本，即可能并不是对全部原始图像均采用在原始图像上设置第二标识的方式来生成负样本，而是选取其中部分原始图像。

正如前文所述本公开实施例所要解决的标识识别实质上是一个无数据无边界的识别问题。而相关技术中的模型训练，针对的是固定的闭集的识别，且需要大量的标注数据。即为了识别图像中是否包括目标标识，需要获取全部易混淆图像的数据来训练模型，这样才能正确识别出待识别图像是否包括目标标识。例如，ImageNet数据集中包括容易混淆的几个类目，如猫、狗、狮子和老虎。但由于训练样本是闭集，因此，模型可以较为容易的通过训练学习到这几个类别之间的区别。即使再出现一个与猫相似的其他动物，模型也可以进行有效识别。

针对本公开实施例所要解决的无数据无边界的标识识别问题，提出了一套数据生成方法，主要思路是从待处理的多个类目中去平衡采样图像，以此来作为生成样本图像的原始图像，即获取多个类目中每个类目下的至少一个原始图像，不同类目下的原始图像的数量满足预设条件。在获取原始图像后，针对每个原始图像，可以在原始图像上设置第一标识得到正样本，在同一原始图像上设置第二标识得到负样本或者不对原始图像进行处理，将原始图像作为负样本。其中，第一标识可以为待识别标识。第二标识可以指影响第一标识识别的干扰标识。通过上述方式得到的正样本和负样本是具有关联关系的正样本和负样本。

根据本公开的实施例，设置第二标识的原因在于：为了提高目标标识识别模型的预测精度，以提高标识识别的准确率，需要保证目标标识识别模型也可以有效识别出不同于第一标识但会对第一标识的识别造成影响的干扰标识，基于此，可以设置第二标识。

图3示意性示出了根据本公开实施例的一种第一标识的示意图。图4示意性示出了根据本公开实施例的一种第二标识的示意图。图5示意性示出了根据本公开实施例的一种正样本生成过程的示意图。图6示意性示出了根据本公开实施例的一种负样本生成过程的示意图。图5的正样本和图6中的负样本是属于一个样本图像组。其中，图5中的正样本是在原始图像上设置图3中的第一标识得到的图像。图6中的负样本是在同一原始图像上设置图4中的第二标识得到的图像。

根据本公开的实施例中，为了提高目标标识识别模型的预测精度，以提高标识识别的准确率，可以设置与第一标识具有关联关系的第二标识，这是由于第一标识可以为待识别标识，为了提高目标标识识别模型的预测精度，以提高标识识别的准确率，需要保证目标标识识别模型也可以有效识别出对第一标识的识别造成影响的干扰标识。

由于干扰标识会对第一标识的识别造成影响，因此，可以说明干扰标识与第一标识之间具有关联关系。这里所述的干扰标识与第一标识之间具有关联关系可以包括两方面内容，其一，干扰标识并不来自于第一标识，即干扰标识和第一标识独立，干扰标识与第一标识之间的相似度大于或等于相似度阈值；其二，干扰标识来自于第一标识，即干扰标识是第一标识的部分。此时，干扰标识与第一标识之间的相似度可能较高也可能较低，如干扰标识与第一标识之间的相似度大于或等于第一相似度阈值，或者，干扰标识与第一标识之间的相似度小于或等于第二相似度阈值，第一相似度阈值大于第二相似度阈值。可以将上述所述的干扰标识称为第二标识。

根据本公开的实施例，将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，可以理解为包括N个样本图像组，分别为样本图像组1、样本图像组2、……、样本图像组N-1和样本图像组N。样本图像组i包括正样本i和负样本i，其中，i∈{1，2，……，N-1，N}，N为大于1的整数。可以确定N个样本图像组的输入顺序，即可以将N个样本图像组按照样本图像组1、样本图像组2、……、样本图像组N-1和样本图像组N的顺序进行排序，排序顺序即是输入顺序。可以确定每个样本图像组中的正样本和负样本的输入顺序，即每个样本图像组可以按照正样本和负样本的顺序进行排序，排序顺序即是输入顺序。将N个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，即是按照N个样本图像组的排序和每个样本图像组中的正样本和负样本的排序依次输入到卷积神经网络模型中。需要说明的是，N个样本图像组还可以按照其他顺序进行排序，在此不作具体限定。

图7示意性示出了根据本公开实施例的一种多个样本图像组中的正样本和负样本交替输入到卷积审核网络模型的示意图。

如图7所示，图7中N个样本图像组按照箭头所示的顺序交替输入到卷积神经网络模型。即按照样本图像1、样本图像组2、……、样本图像组N-1和样本图像组N的顺序交替输入到卷积神经网络模型中，其中，每个样本图像组按照正样本和负样本的顺序交替输入。

根据本公开实施例的技术方案，通过利用将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本为在原始图像上设置第一标识得到的图像，每个样本图像组中的负样本为原始图像或在原始图像上设置第二标识得到的图像，第一标识和第二标识具有关联关系。由于采用基于卷积神经网络模型训练生成的目标标识识别模型识别待识别图像中是否包括目标标识，目标标识识别模型的识别效率较高，且在这个过程中，无需人工参与审核，因此，降低了标识识别的成本和提高了识别效率，因而，至少部分地克服了采用相关技术对图像中的标识进行识别耗费的成本较高且识别效率较低的技术问题。由于每个样本图像组包括一个正样本和一个负样本，因此，保证了正负样本的平衡。在此基础上，由于采用多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，以对卷积神经网络模型进行训练，因此，使得卷积神经网络模型可以对比学习到正样本和负样本的特征。由于可以对比学习具有关联关系的正样本和负样本的特征，因此，实现了对正样本的有效识别，进而保证了目标标识识别模型标识识别的准确率。此外，以多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练也加快了模型训练速度。

可选地，在上述技术方案的基础上，每个样本图像组具有对应的原始图像。可以通过如下方式获取与每个样本图像组对应的原始图像：获取多个类目中与每个类目对应的至少一个原始图像，其中，不同类目下的原始图像的数量满足预设条件。

在本公开的实施例中，为了可以更充分的获得不同类目下的数据信息和干扰信息，可以采用从待处理的多个类目中去平衡采样图像，以此来作为生成样本图像的原始图像，即获得比较均衡的原始图像。

根据本公开的实施例，可以获取多个类目中与每个类目对应的至少一个原始图像，根据每个原始图像，生成与每个原始图像对应的样本图像组。不同类目下的原始图像的数量满足预设条件可以理解为不同类目下的原始图像的数量相同，或者，任意两个类目下的原始图像的数量的差值的绝对值小于或等于预设阈值，预设阈值为大于零的整数。

可选地，在上述技术方案的基础上，获取多个类目中与每个类目对应的至少一个原始图像，可以包括如下操作。

采用样本抽样方法从多个类目下获取与每个类目对应的至少一个原始图像，其中，样本抽样方法可以包括概率抽样方法或非概率抽样方法。

在本公开的实施例中，概率抽样方法可以包括简单随机抽样方法、系统抽样方法、分层抽样方法或整群抽样方法。非概率抽样方法可以包括便利抽样方法、配额抽样方法、判断抽样方法或雪球抽样方法。可以根据实际情况选择样本抽样方法，本公开实施例对此不作限定

可选地，在上述技术方案的基础上，第一标识和第二标识具有关联关系，可以包括：第一标识与第二标识的相似度大于或等于相似度阈值且第一标识和第二标识为不同的标识；或，第二标识为覆盖第一标识的部分后得到的标识。

在本公开的实施例中，第二标识为不同于第一标识且与第一标识之间的相似度大于或等于相似度阈值的标识，或者，第二标识可以为第一标识的一部分。

根据本公开的实施例，第二标识可以为第一标识的一部分可以理解为是一种反向数据增强方式，即通过覆盖第一标识的部分得到第二标识，根据第二标识生成负样本，实现了对负样本的数据增强。

图8示意性示出了根据本公开实施例的另一种第二标识的示意图。图8中的第二标识即是覆盖图4中的第一标识的部分后得到的标识。

可选地，在上述技术方案的基础上，目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的，可以包括如下操作。

获取多个样本图像组，其中，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本和负样本具有关联关系。获取每个正样本的真实标注信息和每个负样本的真实标注信息。将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，分别输出每个正样本的预测标注信息和每个负样本的预测标注信息。根据多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息训练卷积神经网络模型，得到目标标识识别模型。

在本公开的实施例中，可以采用卷积神经网络模型对多个样本图像组进行训练得到目标标识模型。

根据本公开的实施例，获取多个样本图像组，可以包括：可以获取多个类目中每个类目下的多个原始图像。针对每个原始图像，可以在该原始图像上设置第一标识得到正样本，在该原始图像上设置第二标识得到负样本或者将该原始图像作为负样本。其中，第一标识为待识别标识。第一标识的设置方式可以根据原始图像的特点进行确定。第二标识的设置方式可以采用最小克隆(mix-clone)方法。将与该原始图像对应的一个正样本和一个负样本组成与该原始图像对应的样本图像组。基于此，可以获得多个样本图像组，其中，每个样本图像组具有对应的原始图像。同一原始图像可以对应不同的样本图像组。

根据本公开的实施例，获取多个样本图像组的真实标注信息。即获取每个样本图像组中正样本的真实标注信息和负样本的真实标注信息。真实标注信息可以包括包括待识别标识(即第一标识)或不包括待识别标识。

根据本公开的实施例，将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，分别输出每个正样本的预测标注信息和每个负样本的预测标注信息，可以包括：确定多个样本图像组之间的输入顺序。确定每个样本图像组中的正样本和负样本的输入顺序。按照多个样本图像组之间的输入顺序和每个样本图像组中的正样本和负样本的输入顺序将正样本和负样本交替输入到卷积神经网络模型，分别输出每个正样本的预测标注信息和每个负样本的预测标注信息。预测标注信息可以包括包括待识别标识(即第一标识)或不包括待识别标识。

根据本公开的实施例，卷积神经网络模型的训练过程是经过前向传播计算卷积神经网络模型的损失函数，即将多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息输入卷积神经网模型的损失函数中，得到损失结果，并确定损失函数对网络参数的偏导数，采用反向梯度传播方法，根据损失结果对卷积神经网络的网络参数进行调整，直至卷积神经网络模型的损失函数收敛。当卷积神经网络模型的损失函数收敛时，表示卷积神经网络模型已训练完成，此时，卷积神经网络模型的网络参数也得以确定。在此基础上，可将训练完成的卷积神经网络模型作为目标标识识别模型。

根据本公开的实施例，由于标识识别是一个二分类问题，因此，可以调整最终得到的目标标识识别模型的概率阈值，以得到更好的识别结果。

在本公开的实施例中，由于标识识别的复杂性和要求较高的计算效率等，因此，需要在保证标识识别的准确率的基础上，选择合适的卷积神经网络模型，以满足上述要求。

为了满足上述要求，本公开实施例的卷积神经网络模型可以为EfficientNet。其中，Efficientnet是谷歌于2019年提出一个快速高精度模型。它使用了深度、宽度和输入图像分辨率共同调节技术。根据模型的复杂度顺序，可以分为EfficientNet-B0～EfficientNet-B8、EfficientNet-L2和Noisy Student共11个版本。

本公开实施例可以采用TensorFlow来实现EfficientNet。其中，TensorFlow是一个开源的和基于Python的机器学习框架。

可选地，在上述技术方案的基础上，获取每个正样本的真实标注信息和每个负样本的真实标注信息，可以包括如下操作。

获取每个正样本的初始标注信息和每个负样本的初始标注信息。对每个样本图像组中的正样本的初始标注信息和负样本的初始标注信息进行标签平滑处理，得到每个样本图像组中的正样本的真实标注信息和负样本的真实标注信息。

在本公开的实施例中，为了进一步提高标识识别的准确率，可以采用标签平滑方法处理样本图像组的初始标注信息以得到真实标注信息。其中，标签平滑(LabelSmoothing，LS)是机器学习中的一种正则化方法。标签平滑用于使真实标注信息具有一定的容错概率。

采用标签平滑方法处理样本图像组的初始标注信息以得到真实标注信息，可以进一步提供标识识别的准确率的原因在于：一方面，由于在比较复杂的特征空间中，在确定样本图像组的初始标注信息时会发生错误，如某个原始图像本身包括第一标识(即待识别标识)，在数据生成部分没有给该原始图像打标。如果没有给原始图像打标，则该原始图像将作为负样本，而实际上该原始图像应作为正样本，而标签平滑方法可以降低打标错误所产生的不利影响，因此，采用标签平滑方法可以提高目标标识识别模型的预测精度，进而可以提高标识识别的准确率。另一方面，由于标识识别是一个二分类问题，容易发生过拟合，而标签平滑可以抑制过拟合，因此，采用标签平滑方法可以提高目标标识识别模型的预测精度，进而可以提高标识识别的准确率。

根据本公开的实施例，对每个样本图像组中的正样本的初始标注信息和每个负样本的初始标注信息进行标签平滑处理，得到每个样本图像组中的正样本的真实标注信息和负样本的真实标注信息标签，可以包括：样本图像组表示为(x_i，y_i)，其中，x_i表示第i个样本图像组，y_i表示第i个样本图像组的初始标注信息，i∈{1，2，......，N，N-1}，N表示样本图像组的数量。由于正样本的初始标注信息为1，负样本的初始标注信息为0，因此，y_i＝[0，1]或y_i＝[1，0]。设置超参数为ε。采用标签平滑方法处理第i个样本图像组的初始标注信息y_i，得到第i个样本图像组的真实标注信息y′_i＝[ε，1-ε]或y′_i＝[1-ε，ε]。即将正样本的初始标注信息1修改为正样本的真实标注信息1-ε，将负样本的初始标注信息0修改为负样本的真实标注信息ε。

示例性的，如ε＝0.1，第i个样本图像组的初始标注信息y_i＝[0，1]，则第i个样本图像组的真实标注信息y′_i＝[0.1，0.9]。

可选地，在上述技术方案的基础上，根据多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息训练卷积神经网络模型，得到目标标识识别模型，可以包括如下操作。

根据多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息，确定错误标注信息。确定与错误标注信息对应的样本图像。根据与错误标注信息对应的样本图像，确定新的负样本和与新的负样本对应的新的正样本。获取新的正样本的真实标注信息和新的负样本的真实标注信息。将新的正样本和新的负样本交替输入到卷积神经网络模型，分别输出新的正样本的预测标注信息和新的负样本的预测标注信息。根据新的正样本的真实标注信息、新的负样本的真实标注信息、新的正样本的预测标注信息和新的负样本的预测标注信息训练卷积神经网络模型，得到目标标识识别模型。

在本公开的实施例中，为了进一步提高标识识别的准确率，可以采用从基于初始标识识别模型得到的预测标注信息中确定错误标注信息，根据错误标注信息继续对卷积神经网络模型进行训练以得到目标标识识别模型的方式。

在获得多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息后，可以将每个正样本的预测标注信息与该正样本的真实标注信息进行比较，如果该正样本的预测标注信息与该正样本的真实标注信息不一致，则可以确定不一致的预测标注信息为错误标注信息。将每个负样本的预测标注信息与该负样本的真实标注信息进行比较，如果该负样本的预测标注信息与该负样本的真实标注信息不一致，则可以确定不一致的预测标注信息为错误标注信息。

在获得错误标注信息后，可以根据错误标注信息确定与错误标注信息对应的样本图像。根据与错误标注信息对应的样本图像，确定新增的第二标识。根据第二标识和新增的第二标识，确定新的负样本，这里所述的第一个第二标识指的是原第二标识。确定与新的负样本对应的新的正样本。获取新的负样本的初始标注信息和新的正样本的初始标注信息。对新的正样本的初始标注信息和新的负样本的初始标注信息进行标签平滑处理，得到新的正样本的真实标注信息和新的负样本的真实标注信息。错误标注信息的样本图像的数量可以为至少一个。新增的第二标识的数量可以为至少一个。相应的，新的正样本和新的负样本的数量可以为至少一个。新的正样本和新的负样本的数量相同。

在获得新的正样本和新的负样本后，可以将新的正样本和新的负样本交替输入到卷积神经网络模型，分别输出新的正样本的预测标注信息和新的负样本的预测标注信息。其中，新的正样本和新的负样本交替输入到卷积神经网络模型中的方式与前文所述的正样本和负样本交替输入到卷积神经网络中的方式相同，在此不再具体赘述。

在获得新的正样本的预测标注信息和新的负样本的预测标注信息后，可以将新的正样本的真实标注信息、新的负样本的真实标注信息、新的正样本的预测标注信息和新的负样本的预测标注信息输入到卷积神经网模型的损失函数中，得到损失结果，根据损失结果对卷积神经网络的网络参数进行调整，直至卷积神经网络模型的损失函数收敛。当卷积神经网络模型的损失函数值收敛时，表示卷积神经网络模型已训练完成，此时，卷积神经网络模型的网络参数也得以确定。在此基础上，可将训练完成的卷积神经网络模型作为目标标识识别模型。

根据本公开的实施例，通过根据正样本的真实标注信息、负样本的真实标注信息、正样本的预测标注信息和负样本的预测标注信息，确定错误标注信息，并根据错误标注信息形成新的负样本，实现了对负样本的数据增强处理，即采用了一种反向数据增强方法实现对负样本的数据增强。由于实现了对负样本的数据增强，因此，提高了目标标识识别模型的预测精度和鲁棒性，进而提高了标识识别的准确率。

根据本公开的实施例，本公开实施例所提出的上述反向数据增强方法可以用于解决标识识别中由于存在大量未知且不断变化的干扰元素，因此，使得标识识别的准确率不高的问题。

根据本公开的实施例，在获得新增的第二标识后，会以预设概率对原始图像进行处理，以得到新的负样本。即可能并不是对全部原始图像均设置新增的第二标识，而是选取其中部分原始图像设置新增的第二标识。

可选地，在上述技术方案的基础上，样本图像组包括平移、旋转、裁剪、非刚性变换、噪声扰动和颜色变换中的至少一种处理后得到的图像。

在本公开的实施例中，目标标识模型是基于卷积神经网络模型训练生成的，卷积神经网络模型的一大优势就是在于对数据的吸收能力，并转化为对参数的不断学习更新，得到一个预测性能和泛化能力都很好的模型。为了得到预测性能和泛化能力都很好的模型，其对训练样本的数量以及质量都提出了要求，换句话说，训练样本的数量以及质量对模型的预测性能和泛化能力有着重要影响。基于此，可以采用数据增强方法对训练样本进行处理，以增加训练样本的数量以及提高训练样本的质量，以此提升模型的预测性能和泛化能力。

根据本公开的实施例，针对本公开实施例来说，这里所述的训练样本指的是多个样本图像组。即本公开实施例采用数据增强方法对多个样本图像组进行处理，换句话说，样本图像组为通过数据增强处理后得到的图像。

根据本公开的实施例，获取多个类目中每个类目下的至少一个原始图像。采用数据增强方法对每个原始图像进行处理，得到每个处理后的原始图像。上述可以理解为从待处理的多个类目中去平衡采样图像，以此来作为生成样本图像的处理后的原始图像。针对每个处理后的原始图像，可以在该处理后的原始图像上设置第一标识得到正样本，在该处理后的原始图像上设置第二标识得到负样本或者将该处理后的原始图像作为负样本。其中，第一标识为待识别标识。将与该处理后的原始图像对应的一个正样本和一个负样本组成与该处理后的原始图像对应的样本图像组。第一标识和第二标识也可以为通过数据增强处理后的标识。基于此，可以获得多个样本图像组，其中，每个样本图像组具有对应的处理后的原始图像。同一处理后的原始图像可以对应不同的样本图像组。

根据本公开的实施例，数据增强方法可以包括平移、旋转、裁剪、非刚性变换、噪声扰动和颜色变换中的至少一种。其中，刚性变换可以指只有图片的位置和朝向发生改变，而形状不变的变换，非刚性变换是相比于刚性变换更复杂的变换，非刚性变换可以包括斜切、扭曲和透视等。噪声扰动可以包括高斯噪声，颜色变换可以包括饱和度增强、亮度增强和对比度增强等。需要说明的是，可根据实际情况选择数据增强方法，在此不作具体限定。

示例性的，如针对每个原始图像，对该原始图像进行裁剪处理，得到处理后的原始图像。由于标识通常会设置在原始图像的左上角、左下角、右上角和右下角四个角部位置，因此，裁剪的位置可以从上述四个角部位置中选择。同时，也可以对第一标识和第二标识的形状进行变心处理。第一标识可以随机设置在处理后的原始图像上的任意位置。

图9示意性示出了根据本公开实施例的另一种图像识别方法的流程图。

如图9所示，该方法包括操作S901～S913。

在操作S901，获取多个类目中与每个类目对应的至少一个原始图像，其中，不同类目下的原始图像的数量满足预设条件。

在操作S902，根据每个原始图像，生成与每个原始图像对应的样本图像组，其中，每个样本图像组包括一个正样本和一个负样本，每个样本图像中的正样本和负样本具有关联关系。

在本公开的实施例中，每个样本图像组中的正样本为在原始图像上设置第一标识得到的图像，每个样本图像组中的负样本为原始图像或在原始图像上设置第二标识得到的图像。第一标识与第二标识的相似度大于或等于相似度阈值且第一标识和第二标识为不同的标识。或者，第二标识为覆盖第一标识的部分后得到的标识。每个样本图像组具有对应的原始图像。可以通过如下方式获取与每个样本图像组对应的原始图像：获取多个类目中与每个类目对应的至少一个原始图像，其中，不同类目下的原始图像的数量满足预设条件。

在操作S903，获取每个正样本的初始标注信息和每个负样本的初始标注信息。

在操作S904，对每个样本图像组中的正样本的初始标注信息和负样本的初始标注信息进行标签平滑处理，得到每个样本图像组中的正样本的真实标注信息和负样本的真实标注信息。

在操作S905，将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，分别输出每个正样本的预测标注信息和每个负样本的预测标注信息。

在操作S906，根据多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息，确定错误标注信息。

在操作S907，确定与错误标注信息对应的样本图像。

在操作S908，根据与错误标注信息对应的样本图像，确定新的负样本和与新的负样本对应的新的正样本。

在操作S909，获取新的正样本的初始标注信息和新的负样本的初始标注信息。

在操作S910，对新的正样本的初始标注信息和新的负样本的初始标注信息进行标签平滑处理，得到新的正样本的真实标注信息和新的负样本的真实标注信息。

在操作S911，将新的正样本和新的负样本交替输入到卷积神经网络模型，分别输出新的正样本的预测标注信息和新的负样本的预测标注信息。

在操作S912，根据新的正样本的真实标注信息、新的负样本的真实标注信息、新的正样本的预测标注信息和新的负样本的预测标注信息训练卷积神经网络模型，得到目标标识识别模型。

在操作S913，获取待识别图像。

在操作S914，利用目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果。

在本公开的实施例中，为了更好的理解本公开实施例所提供的技术方案，下面通过具体示例进行说明。

样本图像组和待识别图像为商品图像。为了实现标识识别，本公开实施例从数据生成方面、模型方面和反向数据增强方面进行了设计。

在数据生成方面，采用操作S901～S903，实现了在没有标注数据，且存在大量未知干扰元素的情况下，生成需要的训练样本。

在模型方面，采用如操作S903～S904，以及，操作S909～S910的标签平滑，进一步提高了目标标识识别模型的预测精度，进而进一步提高了标识识别的准确率。采用操作S902和操作S908均实现了得到具有关联关系的一个正样本和一个负样本所组成的一个样本图像组，以及，采用操作S905和操作S911均实现了以对比训练方式训练卷积神经网络模型，加快了模型训练速度，提高了目标标识识别模型的预测精度，进而提高了标识识别的正确率。

在反向数据增强方面，采用操作S906～S912，以及，第二标识为覆盖第一标识的部分后得到的标识，基于第二标识生成负样本，实现了针对标识识别中存在较多未知且不断变化的干扰元素的问题，提高了目标标识识别模型的预测精度和鲁棒性。

设定包括N个样本图像组，分别为样本图像组1、样本图像组2、......、样本图像组N-1和样本图像组N。样本图像组i包括正样本i和负样本i，其中，i∈{1，2，……，N-1，N}，N为大于1的整数。每个样本图像组i中正样本i和负样本i均为商品图像。

图10示意性示出了根据本公开实施例的一种目标标识识别模型生成过程的示意图。图10中N个样本图像组按照箭头所示的顺序交替输入到卷积神经网络模型。即按照样本图像1、样本图像组2、……、样本图像组N-1和样本图像组N的顺序交替输入到卷积神经网络模型中，每个样本图像组按照正样本和负样本的顺序交替输入，分别输出正样本i的预测标注信息和负样本i的预测标注信息(即样本图像组i的预测标注信息)。根据样本图像组i的真实标注信息(即正样本i的真实标注信息和负样本i的真实标注信息)和样本图像组i的预测标注信息(即正样本i的预测标注信息和负样本i的预测标注信息)训练卷积神经网络模型，得到目标标识识别模型。

图11示意性示出了根据本公开实施例的一种图像识别方法的示意图。将图11中的待识别图像输入图10得到的目标标识识别模型中，输出待识别图像包括目标标识的识别结果。

根据本公开实施例的技术方案，由于采用基于卷积神经网络模型训练生成的目标标识识别模型识别待识别图像中是否包括目标标识，目标标识识别模型的识别效率较高，且在这个过程中，无需人工参与审核，因此，降低了标识识别的成本和提高了识别效率，因而，至少部分地克服了采用相关技术对图像中的标识进行识别耗费的成本较高且识别效率较低的技术问题。由于每个样本图像组包括一个正样本和一个负样本，因此，保证了正负样本的平衡。在此基础上，由于采用多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，以对卷积神经网络模型进行训练，因此，使得卷积神经网络模型可以对比学习到正样本和负样本的特征。由于可以对比学习具有关联关系的正样本和负样本的特征，因此，实现了对正样本的有效识别，进而保证了目标标识识别模型标识识别的准确率。此外，以多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练也加快了模型训练速度。

由于标签平滑方法可以降低打标错误所产生的不利影响，因此，采用标签平滑方法可以提高目标标识识别模型的预测精度，进而可以提高标识识别的准确率。由于标识识别是一个二分类问题，容易发生过拟合，而标签平滑可以抑制过拟合，因此，采用标签平滑方法可以提高目标标识识别模型的预测精度，进而可以提高标识识别的准确率。通过根据正样本的真实标注信息、负样本的真实标注信息、正样本的预测标注信息和负样本的预测标注信息，确定错误标注信息，并根据错误标注信息形成新的负样本，实现了对负样本的数据增强处理，由于实现了对负样本的数据增强，因此，提高了目标标识识别模型的预测精度和鲁棒性，进而提高了标识识别的准确率。

图12示意性示出了根据本公开的实施例的一种图像识别装置的框图。

如图12所示，图像识别装置1200可以包括获取模块1210和处理模块1220。

获取模块1210和处理模块1220通信连接。

获取模块1210，用于获取待识别图像。

处理模块1220，用于利用目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果，其中，目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的，其中，每个所述样本图像组中的所述正样本为在原始图像上设置第一标识得到的图像，每个所述样本图像组中的所述负样本为所述原始图像或在所述原始图像上设置第二标识得到的图像，其中，所述第一标识和所述第二标识具有关联关系。

根据本公开实施例的技术方案，通过利用将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的目标标识识别模型处理待识别图像，得到用于表征待识别图像是否包括目标标识的识别结果，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本和负样本具有关联关系。由于采用基于卷积神经网络模型训练生成的目标标识识别模型识别待识别图像中是否包括目标标识，目标标识识别模型的识别效率较高，且在这个过程中，无需人工参与审核，因此，降低了标识识别的成本和提高了识别效率，因而，至少部分地克服了采用相关技术对图像中的标识进行识别耗费的成本较高且识别效率较低的技术问题。由于每个样本图像组包括一个正样本和一个负样本，因此，保证了正负样本的平衡。在此基础上，由于采用多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，以对卷积神经网络模型进行训练，因此，使得卷积神经网络模型可以对比学习到正样本和负样本的特征。由于可以对比学习具有关联关系的正样本和负样本的特征，因此，实现了对正样本的有效识别，进而保证了目标标识识别模型标识识别的准确率。此外，以多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练也加快了模型训练速度。

可选地，在上述技术方案的基础上，每个样本图像组具有对应的原始图像；

通过如下方式获取与每个样本图像组对应的原始图像：

获取多个类目中与每个类目对应的至少一个原始图像，其中，不同类目下的原始图像的数量满足预设条件。

可选地，在上述技术方案的基础上，第一标识和第二标识具有关联关系，可以包括：第一标识与第二标识的相似度大于或等于相似度阈值且第一标识和第二标识为不同的标识。或，第二标识为覆盖第一标识的部分后得到的标识。

可选地，在上述技术方案的基础上，目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对卷积神经网络模型进行训练得到的，可以包括如下操作。

获取多个样本图像组，其中，每个样本图像组包括一个正样本和一个负样本，每个样本图像组中的正样本和负样本具有关联关系。获取每个正样本的真实标注信息和每个负样本的真实标注信息。将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型，分别输出每个正样本的预测标注信息和每个负样本的预测标注信息。根据多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息训练卷积神经网络模型，得到目标标识识别模型。

可选地，在上述技术方案的基础上，获取每个正样本的真实标注信息和每个负样本的真实标注信息，可以包括如下操作。

获取每个正样本的初始标注信息和每个负样本的初始标注信息。对每个样本图像组中的正样本的初始标注信息和负样本的初始标注信息进行标签平滑处理，得到每个样本图像组中的正样本的真实标注信息和负样本的真实标注信息。

可选地，在上述技术方案的基础上，根据多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息训练卷积神经网络模型，得到目标标识识别模型，可以包括如下操作。

根据多个正样本的真实标注信息、多个负样本的真实标注信息、多个正样本的预测标注信息和多个负样本的预测标注信息，确定错误标注信息。确定与错误标注信息对应的样本图像。根据与错误标注信息对应的样本图像，确定新的负样本和与新的负样本对应的新的正样本。获取新的正样本的真实标注信息和新的负样本的真实标注信息。将新的正样本和新的负样本交替输入到卷积神经网络模型，分别输出新的正样本的预测标注信息和新的负样本的预测标注信息。根据新的正样本的真实标注信息、新的负样本的真实标注信息、新的正样本的预测标注信息和新的负样本的预测标注信息训练卷积神经网络模型，得到目标标识识别模型。

可选地，在上述技术方案的基础上，样本图像组包括平移、旋转、裁剪、非刚性变换、噪声扰动和颜色变换中的至少一种处理后得到的图像。

根据本公开的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Arrays，PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(Application Specific Integrated Circuit，ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块1210和处理模块1220中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块1210和处理模块1220中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块1210和处理模块1220中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

根据本公开的实施例，本公开的实施例中图像识别装置部分与本公开的实施例中图像识别方法部分是相对应的，图像识别装置部分的描述具体参考图像识别方法部分，在此不再赘述。

图13示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图13示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图13所示，根据本公开实施例的电子设备1300包括处理器1301，其可以根据存储在只读存储器(Read-Only Memory，ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(Random Access Memory，RAM)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1303中，存储有电子设备1300操作所需的各种程序和数据。处理器1301、ROM 1302以及RAM 1303通过总线1304彼此相连。处理器1301通过执行ROM 1302和/或RAM1303中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1302和RAM 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统1300还可以包括输入/输出(I/O)接口1305，输入/输出(I/O)接口1305也连接至总线1304。系统1300还可以包括连接至I/O接口1305的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory)或闪存)、便携式紧凑磁盘只读存储器(Computer Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1302和/或RAM 1303和/或ROM 1302和RAM 1303以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种图像识别方法，包括：

获取待识别图像；以及

利用目标标识识别模型处理所述待识别图像，得到用于表征所述待识别图像是否包括目标标识的识别结果，其中，所述目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对所述卷积神经网络模型进行训练得到的，其中，每个所述样本图像组包括一个正样本和一个负样本，每个所述样本图像组中的所述正样本为在原始图像上设置第一标识得到的图像，每个所述样本图像组中的所述负样本为所述原始图像或在所述原始图像上设置第二标识得到的图像，其中，所述第一标识和所述第二标识具有关联关系。

2.根据权利要求1所述的方法，其中，每个所述样本图像组具有对应的原始图像；

通过如下方式获取与每个所述样本图像组对应的原始图像：

获取多个类目中与每个所述类目对应的至少一个原始图像，其中，不同所述类目下的原始图像的数量满足预设条件。

3.根据权利要求1所述的方法，其中，所述第一标识和所述第二标识具有关联关系，包括：

所述第一标识与所述第二标识的相似度大于或等于相似度阈值且所述第一标识和所述第二标识为不同的标识；或

所述第二标识为覆盖所述第一标识的部分后得到的标识。

4.根据权利要求1所述的方法，其中，所述目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对所述卷积神经网络模型进行训练得到的，包括：

获取多个所述样本图像组，其中，每个所述样本图像组包括一个正样本和一个负样本，每个所述样本图像组中的所述正样本和所述负样本具有关联关系；

获取每个所述正样本的真实标注信息和每个所述负样本的真实标注信息；

将多个所述样本图像组中的所述正样本和所述负样本交替输入到所述卷积神经网络模型，分别输出每个所述正样本的预测标注信息和每个所述负样本的预测标注信息；以及

根据多个所述正样本的真实标注信息、多个所述负样本的真实标注信息、多个所述正样本的预测标注信息和多个所述负样本的预测标注信息训练所述卷积神经网络模型，得到所述目标标识识别模型。

5.根据权利要求4所述的方法，其中，所述获取每个所述正样本的真实标注信息和每个所述负样本的真实标注信息，包括：

获取每个所述正样本的初始标注信息和每个所述负样本的初始标注信息；以及

对每个所述样本图像组中的所述所述正样本的初始标注信息和所述负样本的初始标注信息进行标签平滑处理，得到每个所述样本图像组中的所述正样本的真实标注信息和所述负样本的真实标注信息。

6.根据权利要求4所述的方法，其中，所述根据多个所述正样本的真实标注信息、多个所述负样本的真实标注信息、多个所述正样本的预测标注信息和多个所述负样本的预测标注信息训练所述卷积神经网络模型，得到所述目标标识识别模型，包括：

根据多个所述正样本的真实标注信息、多个所述负样本的真实标注信息、多个所述正样本的预测标注信息和多个所述负样本的预测标注信息，确定错误标注信息；

确定与所述错误标注信息对应的样本图像；

根据与所述错误标注信息对应的样本图像，确定新的负样本和与所述新的负样本对应的新的正样本；

获取所述新的正样本的真实标注信息和所述新的负样本的真实标注信息；

将所述新的正样本和所述新的负样本交替输入到所述卷积神经网络模型，分别输出所述新的正样本的预测标注信息和所述新的负样本的预测标注信息；以及

根据所述新的正样本的真实标注信息、所述新的负样本的真实标注信息、所述新的正样本的预测标注信息和所述新的负样本的预测标注信息训练所述卷积神经网络模型，得到所述目标标识识别模型。

7.根据权利要求1所述的方法，其中，所述样本图像组包括平移、旋转、裁剪、非刚性变换、噪声扰动和颜色变换中的至少一种处理后得到的图像。

8.一种图像识别装置，包括：

获取模块，用于获取待识别图像；以及

处理模块，用于利用目标标识识别模型处理所述待识别图像，得到用于表征所述待识别图像是否包括目标标识的识别结果，其中，所述目标标识识别模型是将多个样本图像组中的正样本和负样本交替输入到卷积神经网络模型中，对所述卷积神经网络模型进行训练得到的，其中，每个所述样本图像组包括一个正样本和一个负样本，每个所述样本图像组中的所述正样本和所述负样本具有关联关系，每个所述样本图像组中的所述正样本为在原始图像上设置第一标识得到的图像，每个所述样本图像组中的所述负样本为所述原始图像或在所述原始图像上设置第二标识得到的图像，其中，所述第一标识和所述第二标识具有关联关系。

9.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1～7中任一项所述的方法。

Images