CN115861684A - 图像分类模型的训练方法、图像分类方法及装置 - Google Patents

图像分类模型的训练方法、图像分类方法及装置 Download PDF

Info

Publication number
CN115861684A
CN115861684A CN202211448436.8A CN202211448436A CN115861684A CN 115861684 A CN115861684 A CN 115861684A CN 202211448436 A CN202211448436 A CN 202211448436A CN 115861684 A CN115861684 A CN 115861684A
Authority
CN
China
Prior art keywords
image
feature map
attention weight
map
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211448436.8A
Other languages
English (en)
Other versions
CN115861684B (zh
Inventor
吕一
常战国
李理
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211448436.8A priority Critical patent/CN115861684B/zh
Publication of CN115861684A publication Critical patent/CN115861684A/zh
Application granted granted Critical
Publication of CN115861684B publication Critical patent/CN115861684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本公开提供了图像分类模型的训练方法、图像分类方法及装置，涉及计算机技术领域，尤其涉及深度学习、计算机视觉等人工智能领域。方案为：获取互为镜像的第一图像和第二图像；分别对第一图像和第二图像进行特征提取，获取第一图像对应的第一特征图和第二图像对应的第二特征图；分别对第一特征图和第二特征图按通道维度进行池化操作，获取第一特征图对应的第一空间注意力权重图和第二特征图对应的第二空间注意力权重图；根据第一空间注意力权重图与第二空间注意力权重图，确定第一约束损失；根据第一约束损失对图像分类模型进行训练。该方法根据互为镜像的第一图像和第二图像的空间注意力权重图，进行注意力一致性约束，提高了模型的分类效果。

Description

图像分类模型的训练方法、图像分类方法及装置
技术领域
本公开涉及计算机技术领域，尤其涉及深度学习、计算机视觉等人工智能领域，具体涉及一种图像分类模型的训练方法、图像分类方法及装置。
背景技术
在人工智能领域，注意力机制是在原来神经网络结构上加入一个注意力模块，作用是让神经网络更加关注图片中对类别划分更具影响力的区域，例如在识别不同动物的任务中，注意力模块希望神经网络更关注到图像中动物主体的区域而忽略干扰的背景项。
相关技术中，通常注意力机制模块的训练是和分类任务一同进行的，通过分类任务的损失反向传导来更新注意力模块的权重。但是，这种权重更新方式依赖于训练数据本身的分布情况，可能会影响分类效果。
发明内容
本公开提供了一种图像分类模型的训练方法、图像分类方法及装置。具体方案如下：
根据本公开的一方面，提供了一种图像分类模型的训练方法，包括：
获取第一图像和第二图像，其中，所述第二图像与所述第一图像互为镜像；
分别对所述第一图像和所述第二图像进行特征提取，以获取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；
分别对所述第一特征图和所述第二特征图按通道维度进行池化操作，以获取所述第一特征图对应的第一空间注意力权重图和所述第二特征图对应的第二空间注意力权重图；
根据所述第一空间注意力权重图与所述第二空间注意力权重图，确定第一约束损失；
根据所述第一约束损失对图像分类模型进行训练。
根据本公开的另一方面，提供了一种图像分类方法，包括：
获取待分类图像；
将所述待分类图像输入图像分类模型，以获取所述待分类图像对应的预测类别，其中，所述图像分类模型是采用上述实施例所述的方法训练得到的。
根据本公开的另一方面，提供了一种图像分类模型的训练装置，包括：
第一获取模块，用于获取第一图像和第二图像，其中，所述第二图像与所述第一图像互为镜像；
第二获取模块，用于分别对所述第一图像和所述第二图像进行特征提取，以获取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；
第三获取模块，用于分别对所述第一特征图和所述第二特征图按通道维度进行池化操作，以获取所述第一特征图对应的第一空间注意力权重图和所述第二特征图对应的第二空间注意力权重图；
确定模块，用于根据所述第一空间注意力权重图与所述第二空间注意力权重图，确定第一约束损失；
训练模块，用于根据所述第一约束损失对图像分类模型进行训练。
根据本公开的另一方面，提供了一种图像分类装置，包括：
第一获取模块，用于获取待分类图像；
第二获取模块，用于将所述待分类图像输入图像分类模型，以获取所述待分类图像对应的预测类别，其中，所述图像分类模型是采用上述实施例所述的图像分类模型的训练方法训练得到的。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的方法或能够执行上述另一方面实施例所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述一方面实施例所述的方法或执行根据上述另一方面实施例所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述一方面实施例所述方法的步骤或实现上述另一方面实施例所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开一实施例提供的图像分类模型的训练方法的流程示意图；
图2为本公开另一实施例提供的图像分类模型的训练方法的流程示意图；
图3为本公开另一实施例提供的图像分类模型的训练方法的流程示意图；
图4为本公开实施例提供的一种对图像进行空间注意力约束的示意图一；
图5为本公开另一实施例提供的图像分类模型的训练方法的流程示意图；
图6为本公开实施例提供的一种对图像进行空间注意力约束的示意图二；
图7为本公开一实施例提供的图像分类方法的流程示意图；
图8为本公开一实施例提供的图像分类模型的训练装置的结构示意图；
图9为本公开一实施例提供的图像分类装置的结构示意图；
图10是用来实现本公开实施例的图像分类模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的图像分类模型的训练方法、图像分类方法及装置。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。
深度学习是机器学习领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
计算机视觉是一门研究如何使机器“看”的科学，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
图1为本公开一实施例提供的图像分类模型的训练方法的流程示意图。
本公开实施例的图像分类模型的训练方法，可以由本公开实施例的图像分类模型的训练装置执行，该装置可以配置于电子设备中，通过根据互为镜像的第一图像和第二图像的空间注意力权重图，进行注意力一致性约束，基于约束损失对图像分类模型进行训练，提高了模型的分类效果。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该图像分类模型的训练方法，包括：
步骤101，获取第一图像和第二图像，其中，第二图像与第一图像互为镜像。
本公开中，可以从样本集中采样得到第一图像，通过对第一图像进行镜像变换得到第二图像，或者也可以从样本集中采样得到第二图像，对第二图像进行镜像变换得到第一图像，或者采样集中包含多对互为镜像的图像，也可以通过从采样集中采样得到互为镜像的第一图像和第二图像等，或者也可以通过其他方式获取第一图像和第二图像，本公开对此不作限定。
本公开中，互为镜像可以是互为左右镜像，也可以是互为上下镜像等，本公开对此不作限定。
本公开中，可以获取一个类别的第一图像和第二图像，也可以获取多个类别的第一图像和第二图像，本公开对此不作限定。
比如，可以从类别A的样本集中采样得到第一图像，并对第一图像进行镜像变换得到第二图像，并从类别B的样本集中采样得到第一图像，并对第一图像进行镜像变换得到第二图像。
另外，本公开中，第一图像可以是一张，也可以是多张，本公开对此不作限定。
步骤102，分别对第一图像和第二图像进行特征提取，以获取第一图像对应的第一特征图和第二图像对应的第二特征图。
本公开中，图像分类模型的结构中可以包括特征提取网络，可以将第一图像输入到特征提取网络进行特征提取，得到第一特征图，将第二图像输入到特征提取网络进行特征提取，得到第二特征图。
由于第一图像和第二图像互为镜像，那么第一特征图和第二特征图之间也互为镜像。
步骤103，分别对第一特征图和第二特征图按通道维度进行池化操作，以获取第一特征图对应的第一空间注意力权重图和第二特征图对应的第二空间注意力权重图。
本公开中，可以对第一特征图按通道维度进行最大池化操作和平均池化操作，得到两个向量，将两个向量拼接，并对拼接后的向量进行卷积操作，得到第一特征图对应的第一空间注意力权重图。同样地，可以对第二特征图按通道维度进行最大池化操作和平均池化操作，得到两个权重图，将两个权重图拼接，并对拼接后的权重图进行卷积操作，得到第二特征图对应的第二空间注意力权重图。
比如，第一特征图为[C，H，W]的向量，其中，C为通道数，H为深度，W为宽度，对第一特征图按通道维度进行最大池化和平均池化，也即按通道维度分别计算均值和最大值，得到两个[1，H，W]的向量，将两个向量拼接形成[2，H，W]的向量，经过一层卷积层得到[1，H，W]的第二空间注意力权重图。
本公开中，第一空间注意力权重图中各元素可以表示第一特征图上每个点的权重，也就是说第一空间注意力权重图可以表征第一特征图上每个点的重要程度，第二空间注意力权重图中各元素可以表示第二特征图上每个点的权重，也就是说第二空间注意力权重图可以表征第二特征图上每个点的重要程度。
步骤104，根据第一空间注意力权重图与第二空间注意力权重图，确定第一约束损失。
由于第二图像与第一图像互为镜像，那么影响类别划分的区域也互为镜像。比如，对于一张图像(也即原图)如果做左右的镜像变换，可以认为两个图像仍同属一个类别，原图中影响类别划分的区域也会对应到镜像之后的位置。
基于此，本公开中，可以将第一空间注意力权重图与第二空间注意力权重图进行比较，根据第一空间注意力权重图与第二空间注意力权重图之间的差异，确定第一约束损失，以约束两个权重图保持一致，从而保证注意力一致性。
比如，第一图像为I，对第一图像I进行左右镜像变换得到第二图像T(I)，第一约束损失的计算可以参见如下公式：
Figure BDA0003951183130000041
其中，Ms(I)表示第一图像I的第一空间注意力权重图，
Figure BDA0003951183130000042
表示第二图像T(I)的第二空间注意力权重图，|| ||2表示矩阵的范数也即Ms(I)与/>
Figure BDA0003951183130000043
在空间上的距离，H表示第一注意力权重图的高度，W表示第一注意力权重图的宽度。/>
步骤105，根据第一约束损失对图像分类模型进行训练。
本公开中，可以根据第一约束损失对模型参数进行调整，如果当前训练阶段得到的图像分类模型未满足训练结束条件，可以在下一个训练阶段继续对图像分类模型进行训练直至满足训练结束条件。
本公开中，一个训练阶段可以认为一次迭代过程，一个训练阶段可以利用多个训练批次对模型参数进行调整，一个训练批次中可以包括多个图像，比如将32张图一同输入模型，训练结束条件可以是迭代次数达到预设次数，或者也可以模型损失小于预设阈值等，本公开对此不作限定。
本公开中，在对图像分类模型进行训练时，可以通过深度学习的方式进行训练，相比于其他机器学习方法，深度学习在大数据集上的表现更好。
相关技术中，通常注意力机制模块的训练是和分类任务一同进行的，通过分类任务的损失反向传导来更新注意力模块的权重。但是，这种权重更新方式依赖于训练数据本身的分布情况，可能学习到的关注区域和人关注的区域存在较大偏差，从而会影响分类效果。而本公开的图像分类模型的训练方法，基于互为镜像的图像的空间注意力权重图，进行注意力一致性约束，提高了模型的分类效果。
本公开实施例中，通过分别对互为镜像的第一图像和第二图像进行特征提取，以获取第一图像对应的第一特征图和第二图像对应的第二特征图，并分别对第一特征图和第二特征图按通道维度进行池化操作，以获取第一特征图对应的第一空间注意力权重图和第二特征图对应的第二空间注意力权重图，并根据第一空间注意力权重图与第二空间注意力权重图，确定第一约束损失，根据第一约束损失对图像分类模型进行训练。由此，通过根据互为镜像的第一图像和第二图像的空间注意力权重图，进行注意力一致性约束，基于一致性约束损失对图像分类模型进行训练，提高了模型的分类效果。
图2为本公开另一实施例提供的图像分类模型的训练方法的流程示意图。
如图2所示，该图像分类模型的训练方法可以包括：
步骤201，获取第一图像和第二图像，其中，第二图像与第一图像互为镜像。
步骤202，分别对第一图像和第二图像进行特征提取，以获取第一图像对应的第一特征图和第二图像对应的第二特征图。
步骤203，分别对第一特征图和第二特征图按通道维度进行池化操作，以获取第一特征图对应的第一空间注意力权重图和第二特征图对应的第二空间注意力权重图。
步骤204，根据第一空间注意力权重图与第二空间注意力权重图，确定第一约束损失。
本公开中，步骤201-步骤204可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
步骤205，根据第一空间注意力权重图和第一特征图，获取第一图像对应的第一注意力特征图。
本公开中，可以将第一空间注意力权重图与第一特征图相乘，对第一特征图上每个点都赋予了权重，得到第一图像对应的第一注意力特征图，也即对第一图像的不同空间位置赋予不同的权重，从而可以实现对第一图像中重点区域的关注。
比如，大小为[1,H,W]的第一空间注意力权重图与大小为[C,H,W]的第一特征图相乘，即第一特征图上[H,W]的每个点都赋予了权重。
步骤206，对第一注意力特征图进行解码，以获取第一图像对应的预测类别。
本公开中，在获取第一注意力特征图后，可以将第一注意力特征图与第一图像的原特征图进行融合，得到融合后的特征图，并对融合后的特征图进行解码，可以获取第一图像对应的预测类别。
其中，原特征图可以看作是注意力网络的前一网络结构的输出，可以对原特征图进行卷积操作得到的第一特征图。
步骤207，根据预测类别与第一图像的标注类别之间的差异，确定标签损失。
本公开中，可以根据预测类别与第一图像的标注类别之间的差异，确定标签损失。其中，标签损失可以用于表征图像分类模型的预测结果与标注类别之间的差异程度，标签损失越大说明差距越大。
由于第一图像与第二图像互为镜像，那么两者所属的类别也相同，因此，也可以根据第二注意力权重图和第二特征图，获取第二图像对应的预测类别，基于第二图像对应的预测类别与标注类别之间的差异，确定标签损失。
步骤208，根据标签损失和第一约束损失对图像分类模型进行训练。
本公开中，可以将标签损失和第一约束之和作为总损失，根据总损失对模型参数进行调整，并对参数调整后的模型继续训练直至满足训练结束条件。
本公开中，如果第一图像为多个也即一次输入多张图像，可以将多个第一图像的标签损失和第一约束损失相加，得到总损失，根据总损失调整模型参数。
本公开中，在根据第一约束损失对图像分类模型进行训练时，可以根据第一空间注意力权重图和第一特征图，获取第一图像对应的第一注意力特征图，并对第一注意力特征图进行解码，以获取第一图像对应的预测类别，根据预测类别与第一图像的标注类别之间的差异，确定标签损失，再根据标签损失和第一约束损失对图像分类模型进行训练。由此，通过根据标签损失和互为镜像的第一图像和第二图像的空间注意力权重图之间的约束损失对图像分类模型进行训练，提高了模型的分类效果。
图3为本公开另一实施例提供的图像分类模型的训练方法的流程示意图。
如图3所示，该图像分类模型的训练方法可以包括：
步骤301，获取第一图像和第二图像，其中，第二图像与第一图像互为镜像。
步骤302，分别对第一图像和第二图像进行特征提取，以获取第一图像对应的第一特征图和第二图像对应的第二特征图。
步骤303，分别对第一特征图和第二特征图按通道维度进行池化操作，以获取第一特征图对应的第一空间注意力权重图和第二特征图对应的第二空间注意力权重图。
本公开中，可以直接对第一特征图按通道维度进行池化操作，得到第一空间注意力权重图，也可以对第一特征图按空间维度进行池化操作，得到通道注意力权重图，并根据通道注意力权重图与第一特征图，得到注意力特征图，并对注意力特征图按通道维度进行池化操作，得到第一空间注意力权重图。
步骤304，根据第一空间注意力权重图与第二空间注意力权重图，确定第一约束损失。
本公开中，步骤301-步骤304可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
步骤305，在第一图像具有标注框的情况下，根据标注框生成第三空间注意力权重图。
本公开中，对每个类别可以随机抽取一定比例的样本进行注意力区域标注，以使样本具有标注框。若第一图像具有标注框，那么可以根据标注框生成第一图像对应的第三空间注意力权重图。
其中，第三空间注意力权重图中标注框内各点的权重可以大于标注框外其他点的权重。
在生成第三空间主力权重图时，作为一种可能的实现方式，对于标注框内的点，可以认为标注框内各点的权重相同，对于未在标注框内的点，可以根据未在标注框内的各点与标注框之间的距离确定权重，距离越远权越小，并根据各点的权重，生成第三空间注意力特征图。
作为另一种可能的实现方式，可以根据标注框的长度和宽度，确定高斯分布函数中的标准差，并根据标注框的中心点坐标，确定高斯分布函数中的均值，根据标准差和均值，利用高斯分布函数，确定第一图像中各坐标点的权重，再根据各坐标点的权重，生成第三空间注意力权重图。由此，基于高斯分布函数生成第三注意力权重图，使得第三注意力权重图的关注区域更加符合人的关注区域。
比如，某图像的标注框的宽度为w，高度为h，可以取标注框的中心点坐标(x1,y1)，半径
Figure BDA0003951183130000061
该图像中各坐标点的权重可以根据下述公式确定：
Figure BDA0003951183130000062
其中，g(x,y)为高斯分布函数，g(x,y)表示该图像中坐标点(x,y)的权重，σ表示高斯分布函数中的标准差，x1和y1表示高斯分布函数中的均值。
需要说明的是，上述公式中标准差σ与半径r之间的关系仅为示例，本公开对此不作限定。
步骤306，根据第一空间注意力权重图和第三空间注意力权重图之间的差异，确定第二约束损失。
本公开中，可以将第一空间注意力权重图与第三空间注意力权重进行比较，进行注意力先验证区域约束，根据第一空间注意力权重图与第三空间注意力权重图之间的差异，确定第二约束损失，以约束空间注意力的权重关注区域与标注的标注框相符。
步骤307，根据第一约束损失和第二约束损失对图像分类模型进行训练。
本公开中，可以根据第一约束损失和第二约束损失之和，对模型参数进行调整，并对调整后的模型继续训练直至满足训练结束条件。
本公开中，可以根据第一空间注意力权重图和第一特征图，获取第一图像对应的第一注意力特征图，并对第一注意力特征图进行解码，获取第一图像对应的预测类别，具体方法可以参见上述实施例，故在此不再赘述。
在获取第一图像对应的预测类别后，可以根据预测类别与第一图像的标注类别之间的差异，确定标签损失，并将标签损失、第一约束损失和第二约束损失之和作为总损失，根据总损失调整模型参数。由此，通过根据标签损失、互为镜像的第一图像和第二图像的空间注意力权重图之间的约束损失和注意力先验区域约束，对图像分类模型进行训练，提高了模型的分类效果。
为了便于理解，下面结合图4进行说明，图4为本公开实施例提供的一种对图像进行空间注意力约束的示意图一。
如图4所示，图像P具有标注框，可以根据标注框生成第三注意力权重图，并对图像P进行特征提取，其中，f是前一个网络结构输出的特征图，对特征图f进行卷积操作，得到特征图F，对F按空间维度进行池化操作得到第一通道注意力权重图Mc(F)，将Mc(F)与F进行相乘得到注意力特征图
Figure BDA0003951183130000071
之后对F′按通道维度进行池化操作得到第一空间注意力权重图Ms(F′)，将Ms(F′)与F′相乘得到注意力特征图/>
Figure BDA0003951183130000072
将F″与特征图f进行融合得到融合特征图，对融合后的特征图进行解码得到预测类别，基于预测类别与图像P之间差异，得到标签损失，并根据第三注意力权重图与第一空间注意力权重图Ms(F′)之间的差异，确定第二约束损失。
本公开实施例中，通过根据互为镜像的第一图像和第二图像的空间注意力权重图，进行注意力一致性约束，还可以根据第一空间注意力权重图与第三空间注意力权重图，进行注意力先验证区域约束，可以使空间注意力更好的关注到希望它关注到的区域，也就是使学习到的关注区域与人关注的区域接近，使学习到的关注区域与人关注的区域接近，由此基于第一约束损失和第二约束损失对图像分类模型进行训练，可以进一步提高模型的分类效果。
图5为本公开另一实施例提供的图像分类模型的训练方法的流程示意图。
如图5所示，该图像分类模型的训练方法可以包括：
步骤501，获取第一图像和第二图像，其中，第二图像与第一图像互为镜像。
步骤502，分别对第一图像和第二图像进行特征提取，以获取第一图像对应的第一特征图和第二图像对应的第二特征图。
本公开中，步骤501-步骤502可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
步骤503，分别对第一特征图和第二特征图按空间维度进行池化操作，以获取第一特征图对应的第一通道注意力权重图和第二特征图对应的第二通道注意力权重图。
本公开中，可以按空间维度分别对第一特征图进行最大池化操作和平均池化操作，得到两个向量，两个向量分别经过同一个MLP(Multi-Layer Perception,多层感知机)网络，映射成每个通道的权重，将映射后的权重相加得到第一通道注意力权重图。同样地，对第二图像进行相同的操作，可以得到第二通道注意力权重图。
比如，第一特征图为[C，H，W]的向量，第一特征图经过最大池化层和平均池化层，形成两个[C,1,1]的向量，两个[C,1,1]的向量分别经过同一个MLP网络再相加得到第一通道注意力权重图[C,1,1]。
其中，第一通道注意力权重图中各元素可以表示第一特征图中各通道维度的权重；第二通道注意力权重图中各元素可以表示第二特征图中各通道维度的权重。
步骤504，根据第一通道注意力权重图和第一特征图，获取第一图像对应的第三注意力特征图。
本公开中，可以将第一通道注意力权重图与第一特征图相乘，得到第一图像对应的第三注意力特征图，如下公式所示：
Figure BDA0003951183130000081
其中，F′表示第三注意力特征图，F表示第一特征图，Mc(F)表示第一通道注意力权重图。
由于第一通道注意力权重图中各元素可以表示第一特征图中各通道维度的权重，那么将第一通道注意力权重图与第一特征图相乘，可以对第一特征图的不同通道维度上赋予不同的权重，从而可以实现对第一图像中的有效信息的关注。
步骤505，根据第二通道注意力权重图和第二特征图，获取第二图像对应的第四注意力特征图。
本公开中，可以将第二通道注意力权重图与第二特征图相乘，得到第二图像对应的第四注意力特征图。
由于第二通道注意力权重图中各元素可以表示第二特征图中各通道维度的权重，那么将第二通道注意力权重图与第二特征图相乘，可以对第二特征图的不同通道维度上赋予不同的权重，从而可以实现对第二图像中的有效信息的关注。
步骤506，分别对第三注意力特征图和第四注意力特征图按通道维度进行池化操作，以获取第一空间注意力权重图和第二空间注意力权重图。
本公开中，对第三注意力特征图按通道维度进行池化操作，得到第一空间注意力权重图的方法，与上述对第一特征图按通道维度进行池化操作，得到第一空间注意力权重图类似，故在此步骤赘述。
本公开中，对第四注意力特征图进行按通道维度进行池化操作，得到第二空间注意力权重图的方法，与上述对第一特征图按通道维度进行池化操作，得到第一空间注意力权重图类似，故在此步骤赘述。
步骤507，根据第一空间注意力权重图与第二空间注意力权重图，确定第一约束损失。
步骤508，根据第一约束损失对图像分类模型进行训练。
本公开中，步骤507-步骤508可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
为了便于理解，下面结合图6进行说明，图6为本公开实施例提供的一种对图像进行空间注意力约束的示意图二。
如图6所示，图像P为原图像，T(P)是对图像P进行变换得到的，对图像P和T(P)分别进行特征提取，以图像P为例，对图像P进行特征提取，其中，f是前一个网络结构输出的特征图，对特征图f进行卷积操作，得到特征图F，对F按空间维度进行池化操作得到第一通道注意力权重图Mc(F)，将Mc(F)与F进行相乘得到第三注意力特征图
Figure BDA0003951183130000082
之后对F′按通道维度进行池化操作得到第一空间注意力权重图Ms(F′)，将Ms(F′)与F′相乘得到第一注意力特征图/>
Figure BDA0003951183130000083
将F″与特征f进行融合得到融合特征图，对融合后的特征图进行解码得到预测类别，基于预测类别与图像P之间差异，得到标签损失。
同样地，可以对T(P)进行特征提取、按空间维度进行池化操作和按通道维度进行池化操作，得到T(P)对应的第二空间注意力权重图，基于图像P对应的第一空间注意力权重图和T(P)对应的第二空间注意力权重图之间的差异，得到第一约束损失。之后，可以根据标签损失和第一约束损失对图像分类模型进行训练。
本公开实施例中，可以先分别对第一特征图和第二特征图按空间维度进行池化操作，得到第一通道注意力权重图和第二通道注意力权重图，并根据第一通道注意力权重图和第一特征图，得到第三注意力特征图，根据第二通道注意力权重图和第二特征图，得到第四注意力特征图，再对第三注意力特征图和第四注意力特征图按通道维度进行池化操作，得到第一空间注意力权重图和第二空间注意力权重图，由此，在学习图像中有哪些有效信息的基础上并通过根据互为镜像的第一图像和第二图像的空间注意力权重图，进行注意力一致性约束，基于一致性约束损失对图像分类模型进行训练，可以进一步提高了模型的分类效果。
在本公开的一个实施例中，可以获取当前训练阶段的前一训练阶段的模型评价指标及各类别的第一样本数量，并根据前一训练阶段的模型评价指标和前一训练阶段所用的样本的第一样本数量，确定当前训练阶段各类别的第二样本数量，再根据各类别的第二样本数量，从各类别的样本集中获取第一图像，也即从每个类别的样本集中获取每个类别的第二样本数量的第一图像。
在确定当前训练阶段各类别的第二样本数量时，可以根据前一训练阶段的模型评价指标，对前一训练阶段所用的样本的第一样本数量进行调整，以得到当前训练阶段各类别的第二样本数量，由此动态调整样本数量，可以提高模型的训练效率。
在实际应用中，可能会比较关注某中类别的识别效果，比如确定机动车道上是否包含非机动车辆的场景，可能会比较关注包含非机动车辆这种类别。
基于此，本公开中，模型评价指标可以包括各类别中目标类别对应的召回率和精度，如果目标类别的召回率大于第一阈值且精度小于第二阈值，可以根据第一预设比例，降低目标类别的第一样本数量，得到目标类别的第二样本数量，并根据第一预设比例和目标类别的第一样本数量，增加各类别中除目标类别外的其他类别的第一样本数量，以得到其他类别的第二样本数量。
比如，前一训练阶段中类别1和类别2的第一样本数量分别为A1和B1，其中类别1为目标类别，第一预设比例为r1，如果类别1的召回率大于90％且精度小于50％，当前训练阶段类别1的数量A2＝A1*(1-r1)，类别B的数量B2＝B1+r1*A1。
由此，在目标类别高召回低精度时，可以使当前训练阶段中目标类别的样本数量比前一训练阶段少，使其他类别的样本数量比前一训练阶段多，从而可以提高模型精度。
如果召回率小于第三阈值且精度大于第四阈值，可以根据第二预设比例，增加目标类别的第一样本数量，以得到目标类别的第二样本数量，并根据第二预设比例和目标类别的第一样本数量，降低其他类别的第一样本数量，以得到其他类别的第二样本数量。
其中，第一阈值可以大于第三阈值，第二阈值可以小于第四阈值，第一预设比例可以与第二预设比例可以相同，也可以不同，本公开对此不作限定。
比如，前一训练阶段中类别1和类别2的第一样本数量分别为A1和B1，其中类别1为目标类别，第二预设比例为r2，如果类别1的召回率小于70％且精度大于80％，当前训练阶段类别1的数量A2＝A1*(1+r2)，类别B的数量B2＝B1-(r2*A1)。
由此，在目标类别低召回高精度时，可以使当前训练阶段中目标类别的样本数量比前一训练阶段多，使其他类别的样本数量比前一训练阶段少，从而可以提高模型召回率。
需要说明的是，本公开中，第一预设比例和第二预设比例可以根据需要设定，本公开对此不作限定。
在实际应用中，对于相同类别的图像，存在难以程度的问题，只关注困难样本或只关注简单样本，均会影响最终模型的分类效果。
基于此，在本公开的一个实施例中，可以利用当前训练阶段的前一训练阶段得到的图像分类模型，对每个类别对应的样本集中每个样本图像进行类别预测，以获取每个样本图像所属预测类别的预测概率，并根据每个样本图像对应的预测概率，确定每个类别的样本图像的预测概率位于各概率区间的数量占比，并根据数量占比，确定各概率区间内样本图像的采样概率，根据采样概率在样本集中进行采样，以获取每个类别的第一图像。
其中，可以将概率[0,1]划分为多个概率区间，划分方式可以根据需要确定。
比如，某类别的样本集合中有10000张图像，可以将[0,1]分成4个概率区间，[0-0.25]，(0.25,0.5]，(0.5,0.75]，(0.75,1]，利用前一个训练阶段的模型对该样本集中每个图像进行类别预测，可以得到预测概率，并确定每个图像落在哪个概率区间，4个概率区中样本的数量分别是4000，1000，1000，4000，落在概率区间[0-0.25]中图像的采样概率可以确定为1/(4000/10000)＝2.5,落在概率区间(0.25,0.5]中图像的采样概率可以确定为1/(1000/10000)＝10，落在概率区间(0.5,0.75]中图像的采样概率为10，落在概率区间(0.75,1]中图像的采样概率为2.5。样本集中每个图像分配这样的采样概率之后，可以按照上述采样概率，在样本集中采样，获取每个类别的第一图像。
可见，当前训练阶段再从这10000张图片中抽取2000张图像时，概率区间(0.25,0.5]中的图像被抽样到的概率比概率区间[0-0.25]中图像被抽样到的概率大。
本公开实施例中，对于每个类别，可以基于前一训练阶段的模型得到样本集中各样本图像的概率，根据落在各概率区间的数量占比，更新采样概率，根据采样概率进行采样得到当前训练阶段所需的第一图像，由此，每个训练阶段完成后更新采样概率，根据更新后的采样概率从样本集中抽取第一图像，可以解决在训练过程中同一类别难易样本不均衡的问题，提高了模型的分类效果。
为了实现上述实施例，本公开实施例还提出一种图像分类方法。图7为本公开一实施例提供的图像分类方法的流程示意图。
如图7所示，该图像分类方法包括：
步骤701，获取待分类图像。
本公开中，待分类图像可以是实时拍摄的，也可以是用户上传的，也可以是视频中的图像，也可以是其他方式获取的，本公开对此不作限定。
步骤702，将待分类图像输入图像分类模型，以获取待分类图像对应的预测类别。
本公开中，可以将待分类模型输入到图像分类模型进行类别预测，以获取图像分类模型输出的待分类图像对应的预测类别。其中，图像分类模型可以采用上述任一实施例所述的图像分类模型的训练方法训练得到的。
本公开实施例中，通过利用上述实施例所述的图像分类模型的训练方法训练得到的图像分类模型，对待分类模型进行类别预测，得到待分类图像的预测类别。由此，通过利用空间注意力一致性约束训练得到的图像分类模型进行类别预测，可以提高分类准确性。
为了实现上述实施例，本公开实施例还提出一种图像分类模型的训练装置。图8为本公开一实施例提供的图像分类模型的训练装置的结构示意图。
如图8所示，该图像分类模型的训练装置800包括：
第一获取模块810，用于获取第一图像和第二图像，其中，所述第二图像与所述第一图像互为镜像；
第二获取模块820，用于分别对所述第一图像和所述第二图像进行特征提取，以获取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；
第三获取模块830，用于分别对所述第一特征图和所述第二特征图按通道维度进行池化操作，以获取所述第一特征图对应的第一空间注意力权重图和所述第二特征图对应的第二空间注意力权重图；
确定模块840，用于根据所述第一空间注意力权重图与所述第二空间注意力权重图，确定第一约束损失；
训练模块850，用于根据所述第一约束损失对图像分类模型进行训练。
在本公开实施例一种可能的实现方式中，所述训练模块850，用于：
根据所述第一空间注意力权重图和所述第一特征图，获取所述第一图像对应的第一注意力特征图；
对所述第一注意力特征图进行解码，以获取所述第一图像对应的预测类别；
根据所述预测类别与所述第一图像的标注类别之间的差异，确定标签损失；
根据所述标签损失和所述第一约束损失对所述图像分类模型进行训练。
在本公开实施例一种可能的实现方式中，所述训练模块850，用于：
在所述第一图像具有标注框的情况下，根据所述标注框生成第三空间注意力权重图；
根据所述第一空间注意力权重图和所述第三空间注意力权重图之间的差异，确定第二约束损失；
根据所述第一约束损失和所述第二约束损失对所述图像分类模型进行训练。
在本公开实施例一种可能的实现方式中，所述训练模块850，用于：
根据所述标注框的长度和宽度，确定高斯分布函数中的标准差；
根据所述标注框的中心点坐标，确定所述高斯分布函数中的均值；
根据所述标准差和所述均值，利用所述高斯分布函数，确定所述第一图像中各坐标点的权重；
根据所述各坐标点的权重，生成所述第三空间注意力权重图。
在本公开实施例一种可能的实现方式中，所述训练模块850，用于：
根据所述第一空间注意力权重图和所述第一特征图，获取所述第一图像对应的第一注意力特征图；
对所述第一注意力特征图进行解码，以获取所述第一图像对应的预测类别；
根据所述预测类别与所述第一图像的标注类别之间的差异，确定标签损失；
根据所述标签损失、第一约束损失及所述第二约束损失对所述图像分类模型进行训练。
在本公开实施例一种可能的实现方式中，所述第二获取模块820，用于：
分别对所述第一特征图和所述第二特征图进行按空间维度进行池化操作，以获取所述第一特征图对应的第一通道注意力权重图和所述第二特征图对应的第二通道注意力权重图；
根据所述第一通道注意力权重图和所述第一特征图，获取所述第一图像对应的第三注意力特征图；
根据所述第二通道注意力权重图和所述第二特征图，获取所述第二图像对应的第四注意力特征图；
分别对所述第三注意力特征图和所述第四注意力特征图按通道维度进行池化操作，以获取所述第一空间注意力权重图和所述第二空间注意力权重图。
在本公开实施例一种可能的实现方式中，所述第一获取模块810，用于：
获取当前训练阶段的前一训练阶段的模型评价指标及各类别的第一样本数量；
根据所述模型评价指标及所述第一样本数量，确定当前训练阶段所述各类别的第二样本数量；
根据所述第二样本数量，从所述各类别的样本集中获取所述第一图像。
在本公开实施例一种可能的实现方式中，所述模型评价指标包括所述各类别中目标类别对应的召回率和精度，所述第一获取模块810，用于：
在所述召回率大于第一阈值且所述精度小于第二阈值的情况下，根据第一预设比例，降低所述目标类别的第一样本数量，以得到所述目标类别的第二样本数量；
根据所述第一预设比例和所述目标类别的第一样本数量，增加所述各类别中除所述目标类别外的其他类别的第一样本数量，以得到所述其他类别的第二样本数量。
在本公开实施例一种可能的实现方式中，所述第一获取模块810，还用于：
在所述召回率小于第三阈值且所述精度大于第四阈值的情况下，根据第二预设比例，增加所述目标类别的第一样本数量，以得到所述目标类别的第二样本数量；
根据所述第二预设比例和所述目标类别的第一样本数量，降低所述其他类别的第一样本数量，以得到所述其他类别的第二样本数量。
在本公开实施例一种可能的实现方式中，所述第一获取模块810，用于：
利用当前训练阶段的前一训练阶段得到的图像分类模型，对每个类别对应的样本集中每个样本图像进行类别预测，以获取所述每个样本图像所属预测类别的预测概率；
根据所述每个样本图像对应的预测概率，确定所述每个类别的样本图像的预测概率位于各概率区间的数量占比；
根据所述数量占比，确定所述各概率区间内样本图像的采样概率；
根据所述采样概率在所述样本集中进行采样，以获取所述每个类别的第一图像。
在本公开实施例一种可能的实现方式中，所述确定模块840，用于：
确定所述第一空间注意力权重图与所述第二空间注意力权重图在空间上的距离；根据所述距离、所述第一空间注意力权重图的高度及宽度，确定所述第一约束损失。
需要说明的是，前述图像分类模型的训练方法实施例的解释说明，也适用于该实施例的图像分类模型的训练装置，故在此不再赘述。
本公开实施例中，通过分别对互为镜像的第一图像和第二图像进行特征提取，以获取第一图像对应的第一特征图和第二图像对应的第二特征图，并分别对第一特征图和第二特征图按通道维度进行池化操作，以获取第一特征图对应的第一空间注意力权重图和第二特征图对应的第二空间注意力权重图，并根据第一空间注意力权重图与第二空间注意力权重图，确定第一约束损失，根据第一约束损失对图像分类模型进行训练。由此，通过根据互为镜像的第一图像和第二图像的空间注意力权重图，进行注意力一致性约束，基于一致性约束损失对图像分类模型进行训练，提高了模型的分类效果。
为了实现上述实施例，本公开实施例还提出一种图像分类装置。图9为本公开一实施例提供的图像分类装置的结构示意图。
如图9所示，该图像分类装置900包括：
第一获取模块910，用于获取待分类图像；
第二获取模块920，用于将所述待分类图像输入图像分类模型，以获取所述待分类图像对应的预测类别，其中，所述图像分类模型是采用上述实施例所述的图像分类模型的训练方法训练得到的。
需要说明的是，前述图像分类模型的训练方法实施例的解释说明，也适用于该实施例的图像分类模型的训练装置，故在此不再赘述。
本公开实施例中，通过利用上述实施例所述的图像分类模型的训练方法训练得到的图像分类模型，对待分类模型进行类别预测，得到待分类图像的预测类别。由此，通过利用空间注意力一致性约束训练得到的图像分类模型进行类别预测，可以提高分类准确性。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)1002中的计算机程序或者从存储单元1008加载到RAM(Random AccessMemory，随机访问/存取存储器)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。I/O(Input/Output，输入/输出)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像分类模型的训练方法。例如，在一些实施例中，图像分类模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的图像分类模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像分类模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(VirtualPrivate Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
需要说明的是，上述电子设备还可以实现本公开实施例的图像分类方法。
根据本公开的实施例，本公开还提供了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行本公开上述实施例提出的图像分类模型的训练方法或者图像分类方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

1.一种图像分类模型的训练方法，包括：
获取第一图像和第二图像，其中，所述第二图像与所述第一图像互为镜像；
分别对所述第一图像和所述第二图像进行特征提取，以获取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；
分别对所述第一特征图和所述第二特征图按通道维度进行池化操作，以获取所述第一特征图对应的第一空间注意力权重图和所述第二特征图对应的第二空间注意力权重图；
根据所述第一空间注意力权重图与所述第二空间注意力权重图，确定第一约束损失；
根据所述第一约束损失对图像分类模型进行训练。
2.如权利要求1所述的方法，其中，所述根据所述第一约束损失对图像分类模型进行训练，包括：
根据所述第一空间注意力权重图和所述第一特征图，获取所述第一图像对应的第一注意力特征图；
对所述第一注意力特征图进行解码，以获取所述第一图像对应的预测类别；
根据所述预测类别与所述第一图像的标注类别之间的差异，确定标签损失；
根据所述标签损失和所述第一约束损失对所述图像分类模型进行训练。
3.如权利要求1所述的方法，其中，所述根据所述第一约束损失对图像分类模型进行训练，包括：
在所述第一图像具有标注框的情况下，根据所述标注框生成第三空间注意力权重图；
根据所述第一空间注意力权重图和所述第三空间注意力权重图之间的差异，确定第二约束损失；
根据所述第一约束损失和所述第二约束损失对所述图像分类模型进行训练。
4.如权利要求3所述的方法，其中，所述根据所述标注框生成第三空间注意力权重图，包括：
根据所述标注框的长度和宽度，确定高斯分布函数中的标准差；
根据所述标注框的中心点坐标，确定所述高斯分布函数中的均值；
根据所述标准差和所述均值，利用所述高斯分布函数，确定所述第一图像中各坐标点的权重；
根据所述各坐标点的权重，生成所述第三空间注意力权重图。
5.权利要求3所述的方法，其中，所述根据所述第一约束损失和所述第二约束损失对所述图像分类模型进行训练，包括：
根据所述第一空间注意力权重图和所述第一特征图，获取所述第一图像对应的第一注意力特征图；
对所述第一注意力特征图进行解码，以获取所述第一图像对应的预测类别；
根据所述预测类别与所述第一图像的标注类别之间的差异，确定标签损失；
根据所述标签损失、第一约束损失及所述第二约束损失对所述图像分类模型进行训练。
6.如权利要求1所述的方法，其中，所述分别对所述第一特征图和所述第二特征图按通道维度进行池化操作，以获取所述第一特征图对应的第一空间注意力权重图和所述第二特征图对应的第二空间注意力权重图，包括：
分别对所述第一特征图和所述第二特征图按空间维度进行池化操作，以获取所述第一特征图对应的第一通道注意力权重图和所述第二特征图对应的第二通道注意力权重图；
根据所述第一通道注意力权重图和所述第一特征图，获取所述第一图像对应的第三注意力特征图；
根据所述第二通道注意力权重图和所述第二特征图，获取所述第二图像对应的第四注意力特征图；
分别对所述第三注意力特征图和所述第四注意力特征图按通道维度进行池化操作，以获取所述第一空间注意力权重图和所述第二空间注意力权重图。
7.如权利要求1所述的方法，其中，所述获取第一图像，包括：
获取当前训练阶段的前一训练阶段的模型评价指标及各类别的第一样本数量；
根据所述模型评价指标及所述第一样本数量，确定当前训练阶段所述各类别的第二样本数量；
根据所述第二样本数量，从所述各类别的样本集中获取所述第一图像。
8.如权利要求7所述的方法，其中，所述模型评价指标包括所述各类别中目标类别对应的召回率和精度，所述根据所述模型评价指标及所述第一样本数量，确定当前训练阶段所述各类别的第二样本数量，包括：
在所述召回率大于第一阈值且所述精度小于第二阈值的情况下，根据第一预设比例，降低所述目标类别的第一样本数量，以得到所述目标类别的第二样本数量；
根据所述第一预设比例和所述目标类别的第一样本数量，增加所述各类别中除所述目标类别外的其他类别的第一样本数量，以得到所述其他类别的第二样本数量。
9.如权利要求8所述的方法，还包括：
在所述召回率小于第三阈值且所述精度大于第四阈值的情况下，根据第二预设比例，增加所述目标类别的第一样本数量，以得到所述目标类别的第二样本数量；
根据所述第二预设比例和所述目标类别的第一样本数量，降低所述其他类别的第一样本数量，以得到所述其他类别的第二样本数量。
10.如权利要求1所述的方法，其中，所述获取第一图像，包括：
利用当前训练阶段的前一训练阶段得到的图像分类模型，对每个类别对应的样本集中每个样本图像进行类别预测，以获取所述每个样本图像所属预测类别的预测概率；
根据所述每个样本图像对应的预测概率，确定所述每个类别的样本图像的预测概率位于各概率区间的数量占比；
根据所述数量占比，确定所述各概率区间内样本图像的采样概率；
根据所述采样概率在所述样本集中进行采样，以获取所述每个类别的第一图像。
11.如权利要求1所述的方法，所述根据所述第一空间注意力权重图与所述第二空间注意力权重图，确定第一约束损失，包括：
确定所述第一空间注意力权重图与所述第二空间注意力权重图在空间上的距离；
根据所述距离、所述第一空间注意力权重图的高度及宽度，确定所述第一约束损失。
12.一种图像分类方法，包括：
获取待分类图像；
将所述待分类图像输入图像分类模型，以获取所述待分类图像对应的预测类别，其中，所述图像分类模型是采用权利要求1-11中任一项所述的方法训练得到的。
13.一种图像分类模型的训练装置，包括：
第一获取模块，用于获取第一图像和第二图像，其中，所述第二图像与所述第一图像互为镜像；
第二获取模块，用于分别对所述第一图像和所述第二图像进行特征提取，以获取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；
第三获取模块，用于分别对所述第一特征图和所述第二特征图按通道维度进行池化操作，以获取所述第一特征图对应的第一空间注意力权重图和所述第二特征图对应的第二空间注意力权重图；
确定模块，用于根据所述第一空间注意力权重图与所述第二空间注意力权重图，确定第一约束损失；
训练模块，用于根据所述第一约束损失对图像分类模型进行训练。
14.如权利要求13所述的装置，其中，所述训练模块，用于：
根据所述第一空间注意力权重图和所述第一特征图，获取所述第一图像对应的第一注意力特征图；
对所述第一注意力特征图进行解码，以获取所述第一图像对应的预测类别；
根据所述预测类别与所述第一图像的标注类别之间的差异，确定标签损失；
根据所述标签损失和所述第一约束损失对所述图像分类模型进行训练。
15.如权利要求13所述的装置，其中，所述训练模块，用于：
在所述第一图像具有标注框的情况下，根据所述标注框生成第三空间注意力权重图；
根据所述第一空间注意力权重图和所述第三空间注意力权重图之间的差异，确定第二约束损失；
根据所述第一约束损失和所述第二约束损失对所述图像分类模型进行训练。
16.如权利要求15所述的装置，其中，所述训练模块，用于：
根据所述标注框的长度和宽度，确定高斯分布函数中的标准差；
根据所述标注框的中心点坐标，确定所述高斯分布函数中的均值；
根据所述标准差和所述均值，利用所述高斯分布函数，确定所述第一图像中各坐标点的权重；
根据所述各坐标点的权重，生成所述第三空间注意力权重图。
17.如权利要求15所述的装置，其中，所述训练模块，用于：
根据所述第一空间注意力权重图和所述第一特征图，获取所述第一图像对应的第一注意力特征图；
对所述第一注意力特征图进行解码，以获取所述第一图像对应的预测类别；
根据所述预测类别与所述第一图像的标注类别之间的差异，确定标签损失；
根据所述标签损失、第一约束损失及所述第二约束损失对所述图像分类模型进行训练。
18.如权利要求13所述的装置，其中，所述第二获取模块，用于：
分别对所述第一特征图和所述第二特征图按空间维度进行池化操作，以获取所述第一特征图对应的第一通道注意力权重图和所述第二特征图对应的第二通道注意力权重图；
根据所述第一通道注意力权重图和所述第一特征图，获取所述第一图像对应的第三注意力特征图；
根据所述第二通道注意力权重图和所述第二特征图，获取所述第二图像对应的第四注意力特征图；
分别对所述第三注意力特征图和所述第四注意力特征图按通道维度进行池化操作，以获取所述第一空间注意力权重图和所述第二空间注意力权重图。
19.如权利要求13所述的装置，其中，所述第一获取模块，用于：
获取当前训练阶段的前一训练阶段的模型评价指标及各类别的第一样本数量；
根据所述模型评价指标及所述第一样本数量，确定当前训练阶段所述各类别的第二样本数量；
根据所述第二样本数量，从所述各类别的样本集中获取所述第一图像。
20.如权利要求19所述的装置，其中，所述模型评价指标包括所述各类别中目标类别对应的召回率和精度，所述第一获取模块，用于：
在所述召回率大于第一阈值且所述精度小于第二阈值的情况下，根据第一预设比例，降低所述目标类别的第一样本数量，以得到所述目标类别的第二样本数量；
根据所述第一预设比例和所述目标类别的第一样本数量，增加所述各类别中除所述目标类别外的其他类别的第一样本数量，以得到所述其他类别的第二样本数量。
21.如权利要求20所述的装置，其中，所述第一获取模块，还用于：
在所述召回率小于第三阈值且所述精度大于第四阈值的情况下，根据第二预设比例，增加所述目标类别的第一样本数量，以得到所述目标类别的第二样本数量；
根据所述第二预设比例和所述目标类别的第一样本数量，降低所述其他类别的第一样本数量，以得到所述其他类别的第二样本数量。
22.如权利要求13所述的装置，其中，所述第一获取模块，用于：
利用当前训练阶段的前一训练阶段得到的图像分类模型，对每个类别对应的样本集中每个样本图像进行类别预测，以获取所述每个样本图像所属预测类别的预测概率；
根据所述每个样本图像对应的预测概率，确定所述每个类别的样本图像的预测概率位于各概率区间的数量占比；
根据所述数量占比，确定所述各概率区间内样本图像的采样概率；
根据所述采样概率在所述样本集中进行采样，以获取所述每个类别的第一图像。
23.如权利要求13所述的装置，其中，所述确定模块，用于：
确定所述第一空间注意力权重图与所述第二空间注意力权重图在空间上的距离；
根据所述距离、所述第一空间注意力权重图的高度及宽度，确定所述第一约束损失。
24.一种图像分类装置，包括：
第一获取模块，用于获取待分类图像；
第二获取模块，用于将所述待分类图像输入图像分类模型，以获取所述待分类图像对应的预测类别，其中，所述图像分类模型是采用权利要求1-11中任一项所述的方法训练得到的。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法，或者能够执行权利要求12所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法，或者执行根据权利要求12所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-11中任一项所述方法的步骤，或者实现权利要求12所述方法的步骤。
CN202211448436.8A 2022-11-18 2022-11-18 图像分类模型的训练方法、图像分类方法及装置 Active CN115861684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211448436.8A CN115861684B (zh) 2022-11-18 2022-11-18 图像分类模型的训练方法、图像分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211448436.8A CN115861684B (zh) 2022-11-18 2022-11-18 图像分类模型的训练方法、图像分类方法及装置

Publications (2)

Publication Number Publication Date
CN115861684A true CN115861684A (zh) 2023-03-28
CN115861684B CN115861684B (zh) 2024-04-09

Family

ID=85664171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211448436.8A Active CN115861684B (zh) 2022-11-18 2022-11-18 图像分类模型的训练方法、图像分类方法及装置

Country Status (1)

Country Link
CN (1) CN115861684B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN111950643A (zh) * 2020-08-18 2020-11-17 创新奇智(上海)科技有限公司 模型训练方法、图像分类方法及对应装置
CN112784763A (zh) * 2021-01-27 2021-05-11 南京邮电大学 基于局部与整体特征自适应融合的表情识别方法及系统
CN114049261A (zh) * 2022-01-13 2022-02-15 武汉理工大学 一种关注前景信息的图像超分辨率重建方法
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置
CN114596605A (zh) * 2021-06-23 2022-06-07 西南科技大学 一种多特征融合的表情识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN111950643A (zh) * 2020-08-18 2020-11-17 创新奇智(上海)科技有限公司 模型训练方法、图像分类方法及对应装置
CN112784763A (zh) * 2021-01-27 2021-05-11 南京邮电大学 基于局部与整体特征自适应融合的表情识别方法及系统
CN114596605A (zh) * 2021-06-23 2022-06-07 西南科技大学 一种多特征融合的表情识别方法
CN114049261A (zh) * 2022-01-13 2022-02-15 武汉理工大学 一种关注前景信息的图像超分辨率重建方法
CN114155365A (zh) * 2022-02-07 2022-03-08 北京航空航天大学杭州创新研究院 模型训练方法、图像处理方法及相关装置

Also Published As

Publication number Publication date
CN115861684B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
JP7331171B2 (ja) 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN108280477B (zh) 用于聚类图像的方法和装置
JP2023541532A (ja) テキスト検出モデルのトレーニング方法及び装置、テキスト検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
EP4040401A1 (en) Image processing method and apparatus, device and storage medium
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN112541122A (zh) 推荐模型的训练方法、装置、电子设备及存储介质
CN112949710A (zh) 一种图像的聚类方法和装置
JP2022177232A (ja) 画像処理方法、テキスト認識方法及び装置
CN113177472A (zh) 动态手势识别方法、装置、设备以及存储介质
CN114494784A (zh) 深度学习模型的训练方法、图像处理方法和对象识别方法
CN114612743A (zh) 深度学习模型的训练方法、目标对象识别方法和装置
EP4123595A2 (en) Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium
CN112862005A (zh) 视频的分类方法、装置、电子设备和存储介质
CN114648676A (zh) 点云处理模型的训练和点云实例分割方法及装置
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN114863437A (zh) 文本识别方法、装置、电子设备和存储介质
CN113177449A (zh) 人脸识别的方法、装置、计算机设备及存储介质
CN115861462A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN114611672A (zh) 模型训练方法、人脸识别方法及装置
CN113191261A (zh) 图像类别的识别方法、装置和电子设备
CN113255501A (zh) 生成表格识别模型的方法、设备、介质及程序产品
CN113177466A (zh) 基于人脸图像的身份识别方法、装置、电子设备及介质
CN115116080A (zh) 表格解析方法、装置、电子设备和存储介质
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
CN115861684A (zh) 图像分类模型的训练方法、图像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant