CN115761225A - 一种基于神经网络可解释性的图像标注方法 - Google Patents

Abstract

本发明公开了一种基于神经网络可解释性的图像标注方法，包括：对获取的图像进行分类，得到图像正确的类别标签；利用带有类别标签的图像训练卷积神经网络；以训练好的卷积神经网络为待解释的神经网络，以待标注图像及其正确的类别标签为输入，使用神经网络可解释性算法对训练好的卷积神经网络进行解释，解释过程结束后得到和输入图像及图像类别相关的热力图；基于所述热力图得到待标注图像的语义分割标签和目标检测标签。本发明可以根据类别标签生成目标检测标签和语义分割标签，从而大幅减少图像的标注工作量。

Description

一种基于神经网络可解释性的图像标注方法

技术领域

本发明涉及深度学习计算机视觉技术领域，特别涉及一种基于神经网络可解释性的图像标注方法。

背景技术

深度学习近年来发展迅速，卷积神经网络是深度学习的一种，在计算机视觉领域具有举足轻重的地位。常见的卷积神经网络包括AlexNet、VGG、ResNet等，这些神经网络的基础功能是特征提取和分类。卷积神经网络也越来越多的应用到了目标检测的和语义分割等任务上来，如Yolo、SSD等。

卷积神经网络需要大量的数据集以完成模型的训练，因此需要根据任务类型对数据进行标注。标注类别标签最为简单，只需要给出图像的类别即可，如：“猫”、“狗”、“兔子”；标注目标检测标签则需要从图像中标注将目标物的位置标注出来，其形式一般是一个矩形框；而标注语义分割标签则需要用一个不规则的多边形将目标物的边界标注出来。显而易见，标注语义标签需要的工作量是标注类别标签的数倍。

神经网络可解释性方法近些年有了较多研究成果，其中沙普利值法、显著图法、类激活图法等方法能够有效的给出卷积神经网络对某一具体输入图像的注意力分布情况，并以热力图形式给出。特别是类激活图方法，性能优于其他两种方法。而在类激活图方法中，Grad-CAM获得了诸多研究人员的认可。这些可解释性方法输出的热力图一定程度上能够反映出目标物的位置和边界。

现有的数据标注方法大多依赖人工，特别是语义标签的标注，由于需要完整标注出目标物的轮廓，因此操作复杂度高，需要标注工程师投入很多时间和精力才能完成。当需要大量样本时，往往需要大量工作人员参与数据标注工作。

发明内容

本发明提供了一种基于神经网络可解释性的图像标注方法，以解决现有技术为图像标注目标检测标签和语义分割标签时所存在的效率较低的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于神经网络可解释性的图像标注方法，包括：

对获取的图像进行分类，得到图像正确的类别标签；

利用带有类别标签的图像训练预设的卷积神经网络；

以训练好的卷积神经网络为待解释的神经网络，以待标注图像及其对应的正确的类别标签为输入，使用预设的神经网络可解释性算法对训练好的卷积神经网络进行解释，解释过程结束后得到和输入图像及图像类别相关的热力图；

基于所述热力图得到待标注图像的语义分割标签和目标检测标签。

进一步地，图像正确的类别标签是由人工标注得到的正确分类的标签，每个类别都有唯一的标签，标签之间是并列关系，没有所属关系。

进一步地，所述卷积神经网络由卷积层和分类层组成；其中，所述卷积层包括至少1层由卷积核组成的神经网络层，所述分类层包含至少1层全连接层。

进一步地，所述利用带有类别标签的图像训练预设的卷积神经网络，包括：

将图像及类别标签按照预设比例划分为训练集和验证集，并采用预设的数据增强方法对所述训练集进行增强；其中，所述数据增强方法包括：图像反转、图像旋转、通道均衡化、调整亮度、锐化、模糊以及随机裁剪；

使用增强后的训练集对预设的卷积神经网络进行训练；完成训练后在所述验证集上测量所述卷积神经网络的准确率，当准确率低于预设准确率阈值时，通过增加训练集和调整网络超参数的方法提升卷积神经网络的准确率。

进一步地，在使用增强后的训练集对预设的卷积神经网络进行训练之后，所述利用带有类别标签的图像训练预设的卷积神经网络还包括：

将所述验证集采用预设的数据增强方法进行增强后合并到增强后的训练集，并重新对卷积神经网络进行训练，得到一个最终的训练好的卷积神经网络。

进一步地，基于所述热力图得到待标注图像的语义分割标签和目标检测标签，包括：

使用阈值法将所述热力图转换为语义分割标签；

使用最小矩形法找出包含所述语义分割标签的最小矩形作为目标检测标签。

进一步地，所述使用阈值法将所述热力图转换为语义分割标签，包括：

设置一个阈值，将所述热力图转换为一个二值图像；

将所述二值图像直接当作对应输入图像的语义分割标签，或对所述二值图像进行后续处理后得到对应输入图像的语义分割标签。

进一步地，设置的阈值为所述热力图最小值和最大值的平均值。

进一步地，使用最小矩形法找出包含所述语义分割标签的最小矩形，包括：

找出语义标签中最大的独立区域；

找出最大的独立区域在x轴和y轴上的最小值，得到一个坐标作为起点，再找出最大的独立区域在x轴和y轴上的最大值，得到一个坐标作为终点；

以所述起点和所述终点作为矩形的两个顶点，得到一个包含所述语义分割标签且边与输入图像平行的最小矩形。

进一步地，在得到一个包含所述语义分割标签且边与输入图像平行的最小矩形之后，所述使用最小矩形法找出包含所述语义分割标签的最小矩形还包括：

将所述最小矩形向外扩展1像素，扩展后矩形的坐标即为目标检测标签。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案通过神经网络可解释性方法，只需要将图像进行分类，然后使用卷积神经网络和神经网络可解释性方法就可以生成目标检测标签和语义标签，可选地，采用本发明提供的技术方案还可以根据热力图，通过对生成的标签进行后处理，以提升标签的质量。其带来的有益效果至少包括：

1、本发明使用神经网络可解释性方法将语义分割标注任务转换为了类别标注任务，可以大量减少人工标注的工作量。

2、本发明不仅可以输出语义分割标签，同时也可以输出目标检测标签。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的基于神经网络可解释性的图像标注方法的执行流程示意图；

图2是本发明第二实施例提供的基于神经网络可解释性的图像标注方法的执行流程示意图；

图3是本发明第二实施例提供的热力图转换为标签的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种基于神经网络可解释性的图像标注方法，该方法可以由电子设备实现。该方法的执行流程如图1所示，包括以下步骤：

S1，对获取的图像进行分类，得到图像正确的类别标签；

其中，需要说明的是，图像正确的类别标签是由人工标注得到的正确分类的标签，每个类别都有唯一的标签，标签之间是并列关系，没有所属关系。

S2，利用带有类别标签的图像训练预设的卷积神经网络；

其中，卷积神经网络由卷积层和分类层组成；其中，所述卷积层包括至少1层由卷积核组成的神经网络层，所述分类层包含至少1层全连接层。

利用带有类别标签的图像训练预设的卷积神经网络的过程具体包括：

S21，将图像及类别标签按照预设比例划分为训练集和验证集，并采用预设的数据增强方法对所述训练集进行增强；其中，所述数据增强方法包括：图像反转、图像旋转、通道均衡化、调整亮度、锐化、模糊以及随机裁剪；

S22，使用增强后的训练集对预设的卷积神经网络进行训练；完成训练后在所述验证集上测量所述卷积神经网络的准确率，当准确率低于预设准确率阈值时，通过增加训练集和调整网络超参数的方法提升卷积神经网络的准确率。

进一步地，在使用增强后的训练集对预设的卷积神经网络进行训练之后，为提升网络性能，卷积神经网络的训练过程还可以包括：

S23，将验证集采用预设的数据增强方法进行增强后合并到增强后的训练集，并重新对卷积神经网络进行训练，得到一个最终的训练好的卷积神经网络。

S3，以训练好的卷积神经网络为待解释的神经网络，以待标注图像及其对应的正确的类别标签为输入，使用预设的神经网络可解释性算法对训练好的卷积神经网络进行解释，解释过程结束后得到和输入图像及图像类别相关的热力图；

其中，所述神经网络可解释性算法包括：沙普利值(SHAP)、显著图(SaliencyMap)、类激活图(CAM)三类方法，以热力图(也称作显著图、注意力图)形式给出解释结果。类激活图(CAM)方法包括：CAM，GradCAM，GradCAM++，SmoothGradCAM，ScoreCAM，GroupCAM。

而且，需要说明的是，所述热力图会随着输入图像、所选用的神经网络可解释性方法、所解释的神经网络层的变化而变化；生成热力图时，输入到神经网络可解释性算法中的类别标签是正确的类别标签而不是卷积神经网络的预测结果；且该热力图对应的卷积神经网络层可以是训练好的卷积神经网络的任一卷积层及其后继的激活层；热力图的分辨率可以低于输入图像，如果热力图的分辨率与输入图像不同，则需要将热力图缩放到与输入图像的分辨率相同。

S4，基于所述热力图得到待标注图像的语义分割标签和目标检测标签。

具体地，在本实施例中，上述S4包括：

S41，使用阈值法将所述热力图转换为语义分割标签；

其中，所述阈值法是通过设置一个阈值，将热力图转换为一个二值图像，该二值图像可当作对应输入图像的语义分割标签直接使用，也可经过适当的后续处理后得到语义分割标签。其中，阈值为热力图最小值和最大值的平均值；

S42，使用最小矩形法找出包含语义分割标签的最小矩形作为目标检测标签；

其中，所述最小矩形法是以语义分割标签为输入，输出一个矩形的位置，其中，矩形的边与输入图像平行；其过程为：首先找出语义标签中最大的独立区域，接着找出该独立区域在x轴和y轴上的最小值，得到一个坐标作为起点，再找出该独立区域在x轴和y轴上的最大值，得到一个坐标作为终点，则最小矩形的两个顶点分别是起点和终点；此时最小矩形和标签中的目标有1个像素的重叠，因此也可将最小矩形向外扩展1圈(1像素)，得到最终的目标检测标签。

综上，本实施例提供了一种基于神经网络可解释性的图像标注方法，通过神经网络可解释性方法，只需要将图像进行分类，然后使用卷积神经网络和神经网络可解释性方法就可以生成目标检测标签和语义标签，提升了标注效率。此外，还可以根据热力图，通过对生成的标签进行后处理，以提升标签的质量。

第二实施例

本实施例结合一实际应用实例来说明本发明的基于神经网络可解释性的图像标注方法的实施过程，如图2所示，其执行流程包括以下步骤：

S101，对获取的图像标注类别标签；

具体地，本实施例准备的图像数据集中包括两类图像，一类是腐蚀金属图像，共297张；另一类是未腐蚀的金属图像，共113张；两类数据总计410张。标签已经标注为“Corrosion(腐蚀)”和“Uncorrosion(未腐蚀)”。

S102，将图像及类别标签划分为训练集和验证集，并对训练集进行增强；

其中，本实施例对图像数据集按照8:2的比例随机划分为训练集和验证集，并使用图像反转、去色、旋转、通道均衡化、调整亮度、平滑、锐化和模糊、随机裁剪等方式对训练集进行增强，得到共计6213张图像用于训练。验证集暂不做增强。其中，图像反转包括左右反转、上下反转、中心反转；调整亮度是指将原图与纯黑图像按照一定的比例进行混合；随机裁剪仅裁剪分辨率大于VGG16默认输入分辨率的图像(本实施例的卷积神经网络选用VGG16，下文详述)，且每次裁剪都保留中心区域，确保图像中心的核心内容不丢失或少丢失。

S103，根据图像数量和类别数量，选择一个合适的卷积神经网络，使用增强后的训练集进行训练，完成训练后在验证集上测量卷积神经网络的准确；

其中，准确率越高越好，当准确率低于阈值时，需要通过增加训练集、调整超参数等方法提升准确率后再进行下一步。当准确率足够高时，说明当前卷积神经网络已经能够学到足够的知识。而且，为了进一步提升卷积神经网络的性能，此时可以将验证集按照S102中所述的方法进行增强，之后合并到训练集，并重新对卷积神经网络进行训练，得到一个最终的训练好的卷积神经网络模型。

具体地，本实施例选用VGG16神经网络，将最后一层输出层的神经元个数改为2，对应数据集的类别数量(2类)。然后设置损失函数为交叉熵函数，使用SGD算法进行训练，学习率设置为0.0001，动量值0.9。图像使用OpenCV读入后转换为NumPy格式，并将每个像素每个通道的颜色值都减去128.0。在60轮迭代后结束训练，在验证集上测试准确率，准确率超过91％，满足标准；

基于上述，本实施例未采用重新训练的方法，而是直接使用S103中训练好的VGG16卷积神经网络进行后续步骤。

S104，将待解释的神经网络设置为S103中训练好的VGG16卷积神经网络，将图像和对应的分类标签作为输入，并使用沙普利值法、显著图法或类激活图法对卷积神经网络的不同层进行解释，得到热力图。

其中，被解释的神经网络层是VGG16卷积层中的相对靠后的层。

具体地，本实施例使用Grad-CAM神经网络可解释性方法对神经网络进行解释，将待解释的神经网络层设为"features.15"。然后逐批次将原始的410张图像及其正确的分类类别输入到Grad-CAM可解释性算法中，得到410张热力图。

S105：设置一个阈值，将热力图转换为一个二值图像，这个二值图像就是对应输入图像的语义分割标签。

其中，阈值取热力图最小值和最大值的平均值。具体地，本实施例将阈值设为0.5，使用阈值法，即可将S104中获得的热力图转换为二值图，即语义分割标签，具体是，超过0.5的像素全部设为最大值1.0，小于0.5的像素全部设为最小值0.0。由于部分语义分割标签的质量较低，因此需少量的人工修正工作。

S106，使用最小矩形法将语义分割转换为目标检测标签。

其中，最小矩形法是：找出语义分割标签中最大的独立区域，找出该独立区域在x轴和y轴上的最小值，得到的坐标作为起点，再找出该独立区域在x轴和y轴上的最大值，得到的坐标作为终点。则最小矩形的两个顶点分别是起点和终点；另外，限制最小矩形的四个边与热力图的边平行，因此可以得到一个最小矩形，该矩形的坐标就是目标检测标签。

此外，需要说明的是，由于此时最小矩形和标签中的目标有1个像素的重叠，因此也可将最小矩形向外扩展1圈(1像素)，得到最终的目标检测标签。

S107，对质量较差的目标检测标签和语义分割标签进行适当的后处理即可得到最终的标签，这一步需要一些人工操作。

经过以上步骤，可以得到所有图像的目标检测标签和语义分割标签，这两类标签在不同程度上指出了腐蚀区域的位置。如图3所示，左起第一张图是从数据集中随机选出的一张图像，其为输入图像，第二张图是对应于输入图像的热力图，经过简单修复后，得到输入图像对应的语义分割标签如图中第三张图所示。而输入图像对应的目标检测标签则如图中第四幅图中的矩形框所示。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种基于神经网络可解释性的图像标注方法，其特征在于，包括：

对获取的图像进行分类，得到图像正确的类别标签；

利用带有类别标签的图像训练预设的卷积神经网络；

以训练好的卷积神经网络为待解释的神经网络，以待标注图像及其对应的正确的类别标签为输入，使用预设的神经网络可解释性算法对训练好的卷积神经网络进行解释，解释过程结束后得到和输入图像及图像类别相关的热力图；

基于所述热力图得到待标注图像的语义分割标签和目标检测标签。

2.如权利要求1所述的基于神经网络可解释性的图像标注方法，其特征在于，图像正确的类别标签是由人工标注得到的正确分类的标签，每个类别都有唯一的标签，标签之间是并列关系，没有所属关系。

3.如权利要求1所述的基于神经网络可解释性的图像标注方法，其特征在于，所述卷积神经网络由卷积层和分类层组成；其中，所述卷积层包括至少1层由卷积核组成的神经网络层，所述分类层包含至少1层全连接层。

4.如权利要求1所述的基于神经网络可解释性的图像标注方法，其特征在于，所述利用带有类别标签的图像训练预设的卷积神经网络，包括：

将图像及类别标签按照预设比例划分为训练集和验证集，并采用预设的数据增强方法对所述训练集进行增强；其中，所述数据增强方法包括：图像反转、图像旋转、通道均衡化、调整亮度、锐化、模糊以及随机裁剪；

使用增强后的训练集对预设的卷积神经网络进行训练；完成训练后在所述验证集上测量所述卷积神经网络的准确率，当准确率低于预设准确率阈值时，通过增加训练集和调整网络超参数的方法提升卷积神经网络的准确率。

5.如权利要求4所述的基于神经网络可解释性的图像标注方法，其特征在于，在使用增强后的训练集对预设的卷积神经网络进行训练之后，所述利用带有类别标签的图像训练预设的卷积神经网络还包括：

将所述验证集采用预设的数据增强方法进行增强后合并到增强后的训练集，并重新对卷积神经网络进行训练，得到一个最终的训练好的卷积神经网络。

6.如权利要求1所述的基于神经网络可解释性的图像标注方法，其特征在于，基于所述热力图得到待标注图像的语义分割标签和目标检测标签，包括：

使用阈值法将所述热力图转换为语义分割标签；

使用最小矩形法找出包含所述语义分割标签的最小矩形作为目标检测标签。

7.如权利要求6所述的基于神经网络可解释性的图像标注方法，其特征在于，所述使用阈值法将所述热力图转换为语义分割标签，包括：

设置一个阈值，将所述热力图转换为一个二值图像；

将所述二值图像直接当作对应输入图像的语义分割标签，或对所述二值图像进行后续处理后得到对应输入图像的语义分割标签。

8.如权利要求7所述的基于神经网络可解释性的图像标注方法，其特征在于，设置的阈值为所述热力图最小值和最大值的平均值。

9.如权利要求6所述的基于神经网络可解释性的图像标注方法，其特征在于，所述使用最小矩形法找出包含所述语义分割标签的最小矩形，包括：

找出语义标签中最大的独立区域；

找出最大的独立区域在x轴和y轴上的最小值，得到一个坐标作为起点，再找出最大的独立区域在x轴和y轴上的最大值，得到一个坐标作为终点；

以所述起点和所述终点作为矩形的两个顶点，得到一个包含所述语义分割标签且边与输入图像平行的最小矩形。

10.如权利要求9所述的基于神经网络可解释性的图像标注方法，其特征在于，在得到一个包含所述语义分割标签且边与输入图像平行的最小矩形之后，所述使用最小矩形法找出包含所述语义分割标签的最小矩形，还包括：

将所述最小矩形向外扩展1像素，扩展后矩形的坐标即为目标检测标签。

Images