CN113392867A - 一种图像识别方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像识别方法、装置、计算机设备及存储介质，本申请实施例获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集；通过图像识别模型对图像集中的样本图像进行类别预测，得到每张样本图像对应的类别预测概率；对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像；对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像；为强样本图像和弱样本图像设置类别标签，根据强样本图像、弱样本图像和类别标签对图像识别模型进行训练，得到训练后图像识别模型，以通过训练后识别模型对图像进行类别识别。提高了对图像识别模型训练的精准性和训练后图像识别模型对图像识别的准确性。

Description

一种图像识别方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像识别方法、装置、计算机设备及存储介质。

背景技术

目前，在对图像进行分类时，可以通过人工对图像进行分类，或者可以通过模型对图像进行分类。例如，通过模型对图像进行分类的过程中，一般需要先对模型进行训练，以便通过训练后的模型对图像进行分类。具体地，采集多张图像，并通过人工手动给图像定义类别，然后基于定义类别后的图像对模型进行训练，通过训练后的模型对图像进行分类。

由于需要手动给图像定义类别，需要大量人力成本，以及受到人为主观因素的影响，比较容易出漏或出错。例如，在对视频的多个镜头的图像进行人工定义类别时，同一个镜头的多张图像非常相似且属于同一类别，若逐张图像标注人力投入非常大且存在重复标注，造成人工重复投入。并且，对模型进行训练方式比较单一，导致得到训练后的模型的识别精度比较低，降低了训练后的模型对图像进行分类的准确性。

发明内容

本申请实施例提供一种图像识别方法、装置、计算机设备及存储介质，可以提高对图像识别模型训练的精准性和可靠性，以提高训练后图像识别模型对图像识别的准确性。

为解决上述技术问题，本申请实施例提供以下技术方案：

本申请实施例提供了一种图像识别方法，包括：

获取多张样本图像，对所述多张样本图像进行聚类，得到至少一组图像集；

通过图像识别模型对所述图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；

对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像；

对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像；

为所述强样本图像和所述弱样本图像分别设置类别标签，根据所述强样本图像、所述弱样本图像和所述类别标签，对所述图像识别模型进行训练，得到训练后图像识别模型，以通过所述训练后识别模型对图像进行类别识别。

根据本申请的一个方面，还提供了一种图像识别装置，包括：

聚类单元，用于获取多张样本图像，对所述多张样本图像进行聚类，得到至少一组图像集；

预测单元，用于通过图像识别模型对所述图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；

清洗单元，用于对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像；

修正单元，用于对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像；

训练单元，用于为所述强样本图像和所述弱样本图像分别设置类别标签，根据所述强样本图像、所述弱样本图像和所述类别标签，对所述图像识别模型进行训练，得到训练后图像识别模型，以通过所述训练后识别模型对图像进行类别识别。

根据本申请的一个方面，还提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种图像识别方法。

根据本申请的一个方面，还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行本申请实施例提供的任一种图像识别方法。

本申请实施例可以获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集，然后可以通过图像识别模型对图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像，以及对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像。此时可以为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型，以通过训练后识别模型对图像进行类别识别。该方案通过对多张样本图像进行聚类及类别标签的设置，以及基于类别预测概率对样本图像进行清洗及修正等，从而基于根据清洗得到的强样本图像、修正得到的弱样本图像和类别标签，对图像识别模型进行训练，得到识别准确性较高的训练后图像识别模型，提高了对图像识别模型训练的精准性和可靠性，以提高训练后图像识别模型对图像识别的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像识别方法应用的场景示意图；

图2是本申请实施例提供的图像识别方法的流程示意图；

图3是本申请实施例提供的分镜得到多张样本图像的示意图；

图4是本申请实施例提供的分镜得到多张样本图像的另一示意图；

图5是本申请实施例提供的为图像集中样本图像设置类别标签的示意图；

图6是本申请实施例提供的为图像集中样本图像设置类别标签的另一示意图；

图7是本申请实施例提供的为图像集中样本图像设置类别标签的另一示意图；

图8是本申请实施例提供的图像识别装置的示意图；

图9是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种图像识别方法、装置、计算机设备及存储介质。

请参阅图1，图1为本申请实施例所提供的图像识别系统的场景示意图，该图像识别系统可以包括图像识别装置，该图像识别装置具体可以集成在计算机设备中，该计算机设备可以是终端或服务器等，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。终端可以是手机、平板电脑、笔记本电脑、台式电脑、或者可穿戴设备等。

其中，计算机设备可以用于获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集，然后可以通过图像识别模型对图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像，以及对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像。此时可以为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型。此时可以获取待识别的图像，通过训练后图像识别模型对待识别的图像进行类别概率计算，得到目标类别概率，根据目标类别概率确定待识别的图像所属的类别。该方案通过对多张样本图像进行聚类及类别标签的设置，以及基于类别预测概率对样本图像进行清洗及修正等，从而基于根据清洗得到的强样本图像、修正得到的弱样本图像和类别标签，对图像识别模型进行训练，得到识别准确性较高的训练后图像识别模型，提高了对图像识别模型训练的精准性和可靠性，以及提高了训练后图像识别模型对图像识别的准确性。

需要说明的是，图1所示的图像识别系统的场景示意图仅仅是一个示例，本申请实施例描述的图像识别系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像识别系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例提供的图像识别方法可以涉及人工智能中的机器学习技术等技术，下面先对人工智能技术和机器学习技术进行说明。

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、以及机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、以及算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、以及式教学习等技术。

在本实施例中，将从图像识别装置的角度进行描述，该图像识别装置具体可以集成在服务器或终端等计算机设备中。

请参阅图2，图2是本申请一实施例提供的图像识别方法的流程示意图。该图像识别方法可以包括：

S101、获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集。

其中，样本图像的获取方式、类型及其包含的内容等可以根据实际需要进行灵活设置，例如，样本图像中可以包括目标对象，该目标对象可以是人物、物品、动物或植物等。可以从本地数据库中获取多张样本图像，或者可以通过预设的摄像头或相机等采集多张样本图像，或者可以接收服务器或终端等发送的多张样本图像，等等。

在一实施方式中，获取多张样本图像可以包括：获取包含多个镜头的样本视频；对样本视频进行分镜处理，得到每个镜头分别对应的多张样本图像。

为了提高样本图像获取的便捷性和灵活性，以及方便后续对图像识别模型进行训练，可以获取包含多个镜头的样本视频，该样本视频可以包括一个或多个，例如，可以从本地数据库中获取包含多个镜头的样本视频，或者可以通过预设的摄像头或相机等采集包含多个镜头的样本视频等。然后可以对样本视频进行分镜处理，得到每个镜头分别对应的多张样本图像，例如，可以通过视频分镜开源库python中的SceneDetect v5.0对样本视频进行分镜处理，得到样本视频中包含的多个镜头，每个镜头可以分别对应有一张或多张样本图像，同一镜头对应的样本图像中包含的目标对象可以一致。例如，如图3所示，对于镜头A可以得到图3(a)、图3(b)、以及图3(c)等多张样本图像，例如，如图4所示，对于镜头B可以得到图4(d)、图4(e)、以及图4(f)等多张样本图像。

在得到多张样本图像后，可以对多张样本图像进行聚类，得到至少一组图像集，例如，可以通过k均值聚类算法(k-means clustering algorithm)或相似度模型等对多张样本图像进行聚类，得到至少一组图像集。通过对多张样本图像进行聚类分组，可以提升后续对样本图像标注(例如设置标签)的速度，节省时间成本。

在一实施方式中，对多张样本图像进行聚类，得到至少一组图像集可以包括：通过训练后的相似度模型对多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值；根据相似度值对多张样本图像进行聚类，得到至少一组图像集。

为了提高对多张样本图像进行聚类的准确性和效率，可以通过训练后的相似度模型对多张样本图像进行聚类，该相似度模型的具体类型可以根据实际需要进行灵活设置，例如，该相似度模型可以是残差网络resnet50、图像分类网络googlenet、或支持向量机(Support Vector Machine，SVM)等。具体地，可以通过训练后的相似度模型对多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值，然后可以根据相似度值对多张样本图像进行聚类，得到至少一组图像集。例如，可以将相似度值大于预设相似度阈值的样本图像聚类为同一组图像集，该同一组图像集中的样本图像可以为同一镜头对应的多张样本图像。

在一实施方式中，通过训练后的相似度模型对多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值之前，图像识别方法还可以包括：获取初始图像，对初始图像进行增强处理，得到多张训练样本图像；通过初始的相似度模型对多张训练样本图像中的每两张训练样本图像之间进行进行相似度预测，得到每两张训练样本图像之间的相似度预测值；通过预设的交叉熵损失函数，基于相似度预测值与预先标注的相似度值，对初始的相似度模型进行训练，以调整初始的相似度模型的参数，得到训练后的相似度模型。

为了提高相似度模型对样本图像进行聚类的准确性，可以预先对相似度模型进行训练，具体地，可以获取初始图像，该初始图像可以包括一张或多张，例如，可以从本地数据库中获取初始图像，或者可以通过预设的摄像头或相机等采集初始图像，或者可以将采用imagenet开源数据或openimage开源数据等作为初始图像等。

然后，为了丰富训练样本图像，使得相似度模型在后续聚类效果更有效，可以对初始图像进行增强处理，得到多张训练样本图像，例如，可以对初始图像进行加噪、旋转、加边框、以及裁剪等增强处理，得到多张训练样本图像。其次，可以通过初始的相似度模型对多张训练样本图像中的每两张训练样本图像之间进行进行相似度预测，得到每两张训练样本图像之间的相似度预测值。此时，可以构建交叉熵损失函数，通过该交叉熵损失函数，基于相似度预测值与预先标注的相似度值，对初始的相似度模型进行训练，以调整初始的相似度模型的参数，经过多次迭代训练后，可以得到训练后的相似度模型。

其中，交叉熵损失函数H(p,q)可以如下所示：

H(p,q)＝-∑p(x)logq(x)

p可以表示预先标注的相似度值(即正确答案)，q可以表示预测得到的相似度预测值(即预测值)，交叉熵损失函数计算得到的交叉熵值越小，p和q越接近，反之，交叉熵值越大，p和q之间的差距越大。

需要说明的是，可以采用开源的imagenet预训练权重作为相似度模型的初始参数，把多张训练样本图像分成多批(即多个batch)采用标准的随机梯度下降(stochasticgradient descent，SGD)优化方法更新相似度模型的参数。

在得到训练后的相似度模型后，可以通过训练后的相似度模型对多张样本图像进行聚类，例如，可以样本视频中每个镜头分别对应的多张样本图像进行聚类：各每个镜头(即分镜)选择其中一张样本图像代表此分镜，所有每个镜头分别对应的多张样本图像输入训练后的相似度模型中进行特征提取，得到样本图像对应的深度特征(可以为1*2048维向量)，根据深度特征进行kmeans聚类，例如可以基于每两张样本图像之间的相似度值进行聚类得到图像集，图像集的聚类类别可由样本视频的量确定，对于N个样本视频，聚类类别可以为N/2～N/5之间，聚类后可以取每个聚类中最靠近类中心的1/3样本图像(即相似度较大的样本图像)作为该聚类初始样本(即聚类得到的图像集)。

需要说明的是，还可以人工对类中心进行挑选及合并等，得到图像集。例如，对于100个视频，每视频15个分镜，每个分镜对应有10个样本图像，可以选择N/5聚类中心，并选择聚类前1/3样本图像作为初始聚类样本，此时人工仅需要对100*15/5*1/3＝100个样本图像进行筛选，而非原始100*15*10＝15000个样本图像，初始标注量(即类别标签设置的量)最大压缩到原始1/30，提升了后续对类别标签设置的效率。

在得到图像集后，可以基于聚类结果为图像集中的每张样本图像设置类别标签，同一图像集中的样本图像的类别标签可以一致，例如，可以提取图像集中样本图像的包含目标对象的特征信息，基于目标对象的特征信息为图像集中的每张样本图像设置类别标签。又例如，由于同一组图像集中的样本图像可以为同一镜头(即同一分镜)对应的多张样本图像，因此可以通过视频分镜并且同一分镜对应的样本图像做为一个标注单位来设置类别标签，降低了类别标签设置的量，提升了类别标签设置的效率。

例如，如图5所示，可以将图像集A中的样本图像(g)、样本图像(h)以及样本图像(i)等样本图像的类别标签设置为“人半身”。又例如，如图6所示，可以将图像集B中的样本图像(j)、样本图像(k)以及样本图像(l)等样本图像的类别标签设置为“全身”。又例如，如图7所示，可以将图像集C中的样本图像(m)、样本图像(n)以及样本图像(o)等样本图像的类别标签设置为“人群”。

S102、通过图像识别模型对图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率。

其中，图像识别模型可以根据实际需要进行灵活设置，例如，该图像识别模型可以是深度卷积神经网络或残差网络等。例如，可以通过图像识别模型对图像集中的样本图像进行一系列的卷积、残差连接、以及池化等操作，以进行类别预测，得到图像集中每张样本图像对应的类别预测概率。

S103、对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像。

其中，强样本图像可以是将图像集中预测得到的样本图像所属的类别，与该图像集的类别标签不匹配的样本图像删除后得到的样本图像集合。

在一实施方式中，对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像可以包括：确定图像集中类别预测概率大于第一阈值的样本图像所属的第一目标类别；将样本图像所属的第一目标类别与样本图像所在图像集的类别标签不匹配的样本图像删除，得到强样本图像。

为了提高对图像识别模型训练的精准性，可以基于类别预测结果对图像集中的样本图像进行进一步地筛选，以便基于筛选出的样本图像继续对图像识别模型进行训练。例如，可以筛选出图像集中类别预测概率大于第一阈值的样本图像，该第一阈值可以根据实际需要进行灵活设置，例如第一阈值可以设置为0.9，若样本图像的类别预测概率大于第一阈值，则说明该样本图像的类别预测概率较高，为强置信度样本。然后可以确定图像集中类别预测概率大于第一阈值的样本图像所属的第一目标类别。此时可以将样本图像所属的第一目标类别与样本图像所在图像集的类别标签进行比较，以判断样本图像所属的第一目标类别与样本图像所在图像集的类别标签是否匹配(例如是否均为“人群”类别)，若样本图像所属的第一目标类别与样本图像所在图像集的类别标签不匹配，则将不匹配的样本图像删除，图像集中仅保留样本图像所属的第一目标类别与样本图像所在图像集的类别标签匹配对应的样本图像，从而可以得到强样本图像。

例如，对于类别标签为“人群”的图像集A中的样本图像a、样本图像b、样本图像c、样本图像d、样本图像e、以及样本图像f等，当样本图像a对应的类别预测概率为0.9，样本图像b对应的类别预测概率为0.99，样本图像c对应的类别预测概率为0.97，样本图像d对应的类别预测概率为0.6，样本图像e对应的类别预测概率为0.98，以及样本图像f对应的类别预测概率为0.96时，可以从图像集A筛选出类别预测概率大于0.9的样本图像，得到样本图像a、样本图像b、样本图像c、样本图像e、以及样本图像f等。确定样本图像a所属的类别为“人群”、样本图像b所属的类别为“人群”、样本图像c所属的类别为“人群”、样本图像e所属的类别为“”、以及样本图像f所属的类别为“人半身”，由于样本图像f所属的类别与图像集A的类别标签不匹配，此时可以将样本图像f删除，得到的强样本图像包括样本图像a、样本图像b、样本图像c、以及样本图像e等。

S104、对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像。

其中，弱样本图像可以是将图像集中预测得到的样本图像所属的类别，与该图像集的类别标签不匹配的样本图像的类别修正后得到的样本图像。

在一实施方式中，对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像可以包括：确定图像集中类别预测概率小于第二阈值的样本图像所属的第二目标类别；当样本图像所属的第二目标类别与样本图像所在图像集的类别标签不匹配时，将样本图像所属的第二目标类别修正为样本图像所在图像集的类别标签，得到弱样本图像。

为了提高对图像识别模型训练的可靠性，可以基于类别预测结果对图像集中的样本图像进行修正，以便基于修正后的样本图像继续对图像识别模型进行训练。具体地，可以筛选出图像集中类别预测概率小于第二阈值的样本图像，该第二阈值可以根据实际需要进行灵活设置，例如第二阈值可以设置为0.9或0.8等，若样本图像的类别预测概率小于第二阈值，则说明该样本图像的类别预测概率较低，为弱置信度样本。然后可以确定图像集中类别预测概率小于第二阈值的样本图像所属的第二目标类别。此时可以将样本图像所属的第二目标类别与样本图像所在图像集的类别标签进行比较，以判断样本图像所属的第二目标类别与样本图像所在图像集的类别标签是否匹配，若样本图像所属的第二目标类别与样本图像所在图像集的类别标签不匹配，则将样本图像所属的第二目标类别修正为样本图像所在图像集的类别标签，使得样本图像所属的第二目标类别为正确的类别，从而可以得到弱样本图像。由于同一组图像集中的样本图像可以为同一镜头(即同一分镜)对应的多张样本图像，因此得到的弱样本图像的类别可以是同一分镜对应的正确类别，从而可以通过纠错和查漏等，提升样本图像类别的标注质量。使得后续图像识别模型的性能可以通过优化强样本图像和弱样本图像筛选策略、以及优化分镜效果来得到提升，以及设置合适的第一阈值和第二阈值来扩充样本图像等，使得图像识别模型优化有路可循。

例如，对于类别标签为“人群”的图像集B中的样本图像g、样本图像h、样本图像i、样本图像j、以及样本图像k等，当样本图像g对应的类别预测概率为0.9，样本图像h对应的类别预测概率为0.8，样本图像i对应的类别预测概率为0.7，样本图像j对应的类别预测概率为0.6，以及样本图像k对应的类别预测概率为0.5时，可以从图像集B筛选出类别预测概率小于0.9的样本图像，得到样本图像h、样本图像i、样本图像j、以及样本图像k等。确定样本图像h所属的类别为“人群”、样本图像i所属的类别为“人半身”、样本图像j所属的类别为“人全身”、以及样本图像k所属的类别为“人半身”，由于样本图像i、样本图像j以及样本图像k所属的类别与图像集B的类别标签不匹配，此时可以将样本图像i、样本图像j以及样本图像k的类别标签设置为“人群”，得到的弱样本图像包括样本图像h、样本图像i、样本图像j、以及样本图像k等的类别标签均为“人群”。

S105、为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型，以通过训练后识别模型对图像进行类别识别。

在一实施方式中，为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型可以包括：通过图像识别模型分别对强样本图像和弱样本图像进行类别预测，得到每张强样本图像对应的第一类别预测概率，以及每张弱样本图像对应的第二类别预测概率；根据第一类别预测概率确定强样本图像对应的第一类别，以及根据第二类别预测概率确定弱样本图像对应的第二类别；分别将第一类别和第二类别与类别标签进行收敛，以调整图像识别模型的参数，得到训练后图像识别模型。

在得到强样本图像和弱样本图像后，可以重新为每张强样本图像和弱样本图像设置类别标签，例如，可以提取强样本图像中包含目标对象的特征信息，基于目标对象的特征信息为强样本图像设置类别标签，以及可以提取弱样本图像中包含目标对象的特征信息，基于目标对象的特征信息为弱样本图像设置类别标签。又例如，可以强样本图像所在图像集的类别标签设置强样本图像的类别标签，以及基于上述修正方式获取弱样本图像的类别标签；当然，还可以通过人工为每张强样本图像和弱样本图像设置类别标签等。然后，可以通过图像识别模型对强样本图像进行类别预测，得到每张强样本图像对应的第一类别预测概率，以及对弱样本图像进行类别预测，得到每张弱样本图像对应的第二类别预测概率。可以根据第一类别预测概率确定强样本图像对应的第一类别，例如，由于强样本图像对应第一类别预测概率可以包括多个(例如类别A预测概率为0.9，类别B预测概率为0.6等)，因此可以将多个第一类别预测概率中概率值最高的类别作为该强样本图像对应的第一类别(例如类别A)。以及可以根据第二类别预测概率确定弱样本图像对应的第二类别，例如，可以将多个第二类别预测概率中概率值最高的类别作为该弱样本图像对应的第二类别。此时可以将强样本图像对应第一类别与强样本图像所对应的类别标签进行收敛，以及将弱样本图像对应第二类别与弱样本图像所对应的类别标签进行收敛，不断进行迭代训练，以反向传播调整图像识别模型的参数，直到图像识别模型在目标数据测试准确率达到预定值，或完成指定次迭代为止等，得从而可以到训练后图像识别模型。

在一实施方式中，根据强样本图像和弱样本图像对图像识别模型进行训练，得到训练后图像识别模型之后，图像识别方法还可以包括：获取待识别的图像；通过训练后图像识别模型对待识别的图像进行类别概率计算，得到目标类别概率；根据目标类别概率确定待识别的图像所属的类别。

在得到训练后图像识别模型后，可以利用训练后图像识别模型对图像进行识别。例如，可以获取待识别的图像，例如，可以从本地数据库中获取待识别的图像，或者可以通过预设的摄像头或相机等采集待识别的图像，或者可以接收服务器或终端等发送的待识别的图像，等等。然后可以通过训练后图像识别模型对待识别的图像进行类别概率计算，得到目标类别概率，例如可以得到该图像属于类别A的概率为0.98、以及该图像属于类别B的概率为0.1等，此时可以根据目标类别概率确定待识别的图像所属的类别，例如由于该图像属于类别A的概率最高，因此可以确定待识别的图像所属的类别为类别A。

本申请实施例可以获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集，然后可以通过图像识别模型对图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像，以及对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像。此时可以为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型。以便后续可以获取待识别的图像，通过训练后图像识别模型对待识别的图像进行类别概率计算，得到目标类别概率，根据目标类别概率确定待识别的图像所属的类别。该方案通过对多张样本图像进行聚类及类别标签的设置，以及基于类别预测概率对样本图像进行清洗及修正等，从而基于根据清洗得到的强样本图像、修正得到的弱样本图像和类别标签，对图像识别模型进行训练，得到识别准确性较高的训练后图像识别模型，提高了对图像识别模型训练的精准性和可靠性，以及提高了训练后图像识别模型对图像识别的准确性。

为便于更好的实施本申请实施例提供的图像识别方法，本申请实施例还提供一种基于上述图像识别方法的装置。其中名词的含义与上述图像识别方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图8，图8为本申请实施例提供的图像识别装置的结构示意图，其中该图像识别装置可以包括聚类单元301、预测单元302、清洗单元303、修正单元304以及训练单元305等。

其中，聚类单元301，用于获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集。

预测单元302，用于通过图像识别模型对图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率。

清洗单元303，用于对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像。

修正单元304，用于对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像。

训练单元305，用于为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型，以通过训练后识别模型对图像进行类别识别。

在一实施方式中，训练单元305具体可以用于：通过图像识别模型分别对强样本图像和弱样本图像进行类别预测，得到每张强样本图像对应的第一类别预测概率，以及每张弱样本图像对应的第二类别预测概率；根据第一类别预测概率确定强样本图像对应的第一类别，以及根据第二类别预测概率确定弱样本图像对应的第二类别；分别将第一类别和第二类别与类别标签进行收敛，以调整图像识别模型的参数，得到训练后图像识别模型。

在一实施方式中，聚类单元301具体可以用于：获取包含多个镜头的样本视频；对样本视频进行分镜处理，得到每个镜头分别对应的多张样本图像；对多张样本图像进行聚类，得到至少一组图像集。

在一实施方式中，聚类单元301具体可以用于：通过训练后的相似度模型对多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值；根据相似度值对多张样本图像进行聚类，得到至少一组图像集。

在一实施方式中，图像识别装置还可以包括：

处理单元，用于获取初始图像，对初始图像进行增强处理，得到多张训练样本图像；

相似度预测单元，用于通过初始的相似度模型对多张训练样本图像中的每两张训练样本图像之间进行进行相似度预测，得到每两张训练样本图像之间的相似度预测值；

调整单元，用于通过预设的交叉熵损失函数，基于相似度预测值与预先标注的相似度值，对初始的相似度模型进行训练，以调整初始的相似度模型的参数，得到训练后的相似度模型。

在一实施方式中，清洗单元303具体可以用：确定图像集中类别预测概率大于第一阈值的样本图像所属的第一目标类别；将样本图像所属的第一目标类别与样本图像所在图像集的类别标签不匹配的样本图像删除，得到强样本图像。

在一实施方式中，修正单元304具体可以用：确定图像集中类别预测概率小于第二阈值的样本图像所属的第二目标类别；当样本图像所属的第二目标类别与样本图像所在图像集的类别标签不匹配时，将样本图像所属的第二目标类别修正为样本图像所在图像集的类别标签，得到弱样本图像。

在一实施方式中，图像识别装置还可以包括：

计算单元，用于获取待识别的图像，通过训练后图像识别模型对待识别的图像进行类别概率计算，得到目标类别概率；

识别单元，用于根据目标类别概率确定待识别的图像所属的类别。

本申请实施例可以由聚类单元301获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集，然后可以由预测单元302通过图像识别模型对图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；由清洗单元303对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像，以及由修正单元304对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像。此时可以由训练单元305为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型，以通过训练后识别模型对图像进行类别识别。该方案通过对多张样本图像进行聚类及类别标签的设置，以及基于类别预测概率对样本图像进行清洗及修正等，从而基于根据清洗得到的强样本图像、修正得到的弱样本图像和类别标签，对图像识别模型进行训练，得到识别准确性较高的训练后图像识别模型，提高了对图像识别模型训练的精准性和可靠性，以提高训练后图像识别模型对图像识别的准确性。

本申请实施例还提供一种计算机设备，该计算机设备可以是服务器或终端等，如图9所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图9中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取多张样本图像，对多张样本图像进行聚类，得到至少一组图像集；通过图像识别模型对图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像；对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像；为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型，以通过训练后识别模型对图像进行类别识别。

在一实施方式中，在为强样本图像和弱样本图像分别设置类别标签，根据强样本图像、弱样本图像和类别标签，对图像识别模型进行训练，得到训练后图像识别模型时，处理器401可以用于执行：通过图像识别模型分别对强样本图像和弱样本图像进行类别预测，得到每张强样本图像对应的第一类别预测概率，以及每张弱样本图像对应的第二类别预测概率；根据第一类别预测概率确定强样本图像对应的第一类别，以及根据第二类别预测概率确定弱样本图像对应的第二类别；分别将第一类别和第二类别与类别标签进行收敛，以调整图像识别模型的参数，得到训练后图像识别模型。

在一实施方式中，在获取多张样本图像时，处理器401可以用于执行：获取包含多个镜头的样本视频；对样本视频进行分镜处理，得到每个镜头分别对应的多张样本图像。

在一实施方式中，在对多张样本图像进行聚类，得到至少一组图像集时，处理器401可以用于执行：通过训练后的相似度模型对多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值；根据相似度值对多张样本图像进行聚类，得到至少一组图像集。

在一实施方式中，在通过训练后的相似度模型对多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值之前，处理器401可以用于执行：获取初始图像，对初始图像进行增强处理，得到多张训练样本图像；通过初始的相似度模型对多张训练样本图像中的每两张训练样本图像之间进行进行相似度预测，得到每两张训练样本图像之间的相似度预测值；通过预设的交叉熵损失函数，基于相似度预测值与预先标注的相似度值，对初始的相似度模型进行训练，以调整初始的相似度模型的参数，得到训练后的相似度模型。

在一实施方式中，在对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像时，处理器401可以用于执行：确定图像集中类别预测概率大于第一阈值的样本图像所属的第一目标类别；将样本图像所属的第一目标类别与样本图像所在图像集的类别标签不匹配的样本图像删除，得到强样本图像。

在一实施方式中，在对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像时，处理器401可以用于执行：确定图像集中类别预测概率小于第二阈值的样本图像所属的第二目标类别；当样本图像所属的第二目标类别与样本图像所在图像集的类别标签不匹配时，将样本图像所属的第二目标类别修正为样本图像所在图像集的类别标签，得到弱样本图像。

在一实施方式中，在根据强样本图像和弱样本图像对图像识别模型进行训练，得到训练后图像识别模型之后，处理器401可以用于执行：获取待识别的图像；通过训练后图像识别模型对待识别的图像进行类别概率计算，得到目标类别概率；根据目标类别概率确定待识别的图像所属的类别。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像识别方法的详细描述，此处不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机指令来完成，或通过计算机指令控制相关的硬件来完成，该计算机指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本申请实施例提供一种存储介质，其中存储有计算机程序，该计算机包括计算机指令，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像识别方法。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像识别方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像识别方法、装置、计算机设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像识别方法，其特征在于，包括：

获取多张样本图像，对所述多张样本图像进行聚类，得到至少一组图像集；

通过图像识别模型对所述图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；

对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像；

对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像；

为所述强样本图像和所述弱样本图像分别设置类别标签，根据所述强样本图像、所述弱样本图像和所述类别标签，对所述图像识别模型进行训练，得到训练后图像识别模型，以通过所述训练后识别模型对图像进行类别识别。

2.根据权利要求1所述的图像识别方法，其特征在于，所述为所述强样本图像和所述弱样本图像分别设置类别标签，根据所述强样本图像、所述弱样本图像和所述类别标签，对所述图像识别模型进行训练，得到训练后图像识别模型包括：

通过所述图像识别模型分别对所述强样本图像和所述弱样本图像进行类别预测，得到每张强样本图像对应的第一类别预测概率，以及每张弱样本图像对应的第二类别预测概率；

根据所述第一类别预测概率确定所述强样本图像对应的第一类别，以及根据所述第二类别预测概率确定所述弱样本图像对应的第二类别；

分别将所述第一类别和所述第二类别与所述类别标签进行收敛，以调整所述图像识别模型的参数，得到训练后图像识别模型。

3.根据权利要求1所述的图像识别方法，其特征在于，所述获取所述多张样本图像包括：

获取包含多个镜头的样本视频；

对所述样本视频进行分镜处理，得到每个镜头分别对应的多张样本图像。

4.根据权利要求1所述的图像识别方法，其特征在于，所述对所述多张样本图像进行聚类，得到至少一组图像集包括：

通过训练后的相似度模型对所述多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值；

根据所述相似度值对所述多张样本图像进行聚类，得到至少一组图像集。

5.根据权利要求4所述的图像识别方法，其特征在于，所述通过训练后的相似度模型对所述多张样本图像中的每两张样本图像之间进行相似度计算，得到每两张样本图像之间的相似度值之前，所述图像识别方法还包括：

获取初始图像，对所述初始图像进行增强处理，得到多张训练样本图像；

通过初始的相似度模型对所述多张训练样本图像中的每两张训练样本图像之间进行进行相似度预测，得到每两张训练样本图像之间的相似度预测值；

通过预设的交叉熵损失函数，基于所述相似度预测值与预先标注的相似度值，对所述初始的相似度模型进行训练，以调整所述初始的相似度模型的参数，得到训练后的相似度模型。

6.根据权利要求1所述的图像识别方法，其特征在于，所述对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像包括：

确定图像集中类别预测概率大于第一阈值的样本图像所属的第一目标类别；

将样本图像所属的第一目标类别与样本图像所在图像集的类别标签不匹配的样本图像删除，得到强样本图像。

7.根据权利要求1所述的图像识别方法，其特征在于，所述对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像包括：

确定图像集中类别预测概率小于第二阈值的样本图像所属的第二目标类别；

当样本图像所属的第二目标类别与样本图像所在图像集的类别标签不匹配时，将所述样本图像所属的第二目标类别修正为样本图像所在图像集的类别标签，得到弱样本图像。

8.根据权利要求1至7任一项所述的图像识别方法，其特征在于，所述根据所述强样本图像和所述弱样本图像对所述图像识别模型进行训练，得到训练后图像识别模型之后，所述图像识别方法还包括：

获取待识别的图像；

通过所述训练后图像识别模型对所述待识别的图像进行类别概率计算，得到目标类别概率；

根据所述目标类别概率确定所述待识别的图像所属的类别。

9.一种图像识别装置，其特征在于，包括：

聚类单元，用于获取多张样本图像，对所述多张样本图像进行聚类，得到至少一组图像集；

预测单元，用于通过图像识别模型对所述图像集中的样本图像进行类别预测，得到图像集中每张样本图像对应的类别预测概率；

清洗单元，用于对图像集中类别预测概率大于第一阈值的样本图像进行清洗，得到强样本图像；

修正单元，用于对图像集中类别预测概率小于第二阈值的样本图像进行修正，得到弱样本图像；

训练单元，用于为所述强样本图像和所述弱样本图像分别设置类别标签，根据所述强样本图像、所述弱样本图像和所述类别标签，对所述图像识别模型进行训练，得到训练后图像识别模型，以通过所述训练后识别模型对图像进行类别识别。

10.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行权利要求1至7任一项所述的图像识别方法。

Images