CN113762303B - 图像分类方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像分类方法、装置、电子设备及存储介质，该方法包括：确定目标图像的关联属性信息；将目标图像以及与目标图像对应的关联属性信息输入至预选训练好的图像分类模型中，并获取图像分类模型输出的分类结果；其中，图像分类模型包括基于迁移学习的深度学习子模型、全连接深度学习子模型以及注意力子模型，注意力子模性用于对全连接深度学习子模型和基于迁移学习的深度学习子模型的输出结果进行加权变换处理；根据分类结果确定目标图像的目标类别。本技术方案，解决了现有技术中人工审核图片是否违规时，存在审核效率较低以及由于审核标准不统一的问题，实现了对图像审核的准确性、便捷性以及高效性的技术效果。

Description

图像分类方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种图像分类方法、装置、电子设备及存储介质。

背景技术

目前，各门店若要入驻相应平台时，需要向平台上传相应的图片。在图片上传完成后，各平台为了确保图片的规范性，通常需要工作人员对图像进行审核。

发明人在基于上述方式实施本技术方案时，发现存在如下问题：

对图像的审核多是基于抽检或人工来操作，此时不仅无法覆盖全部的图像还存在人工筛选效率较低的问题，同时，由于每个工作人员的筛选标准不统一，导致审核通过的图像与实际要求存在一定偏差的问题。

发明内容

本发明提供一种图像分类方法、装置、电子设备及存储介质，以实现对图像分类处理的准确性以及便捷性的技术效果。

第一方面，本发明实施例提供了一种图像分类方法，该方法包括：

确定目标图像的关联属性信息；

将所述目标图像以及与所述目标图像对应的关联属性信息输入至预选训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果；其中，所述图像分类模型包括基于迁移学习的深度学习子模型、全连接深度学习子模型以及注意力子模型，所述注意力子模性用于对所述全连接深度学习子模型和所述基于迁移学习的深度学习子模型的输出结果进行加权变换处理；

根据所述分类结果确定所述目标图像的目标类别。

第二方面，本发明实施例还提供了一种图像分类装置，该装置包括：

属性信息确定模块，用于确定目标图像的关联属性信息；

分类结果输出模块，用于将所述目标图像以及与所述目标图像对应的关联属性信息输入至预选训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果；其中，所述图像分类模型包括基于迁移学习的深度学习子模型、全连接深度学习子模型以及注意力子模型，所述注意力子模性用于对所述全连接深度学习子模型和所述基于迁移学习的深度学习子模型的输出结果进行加权变换；

类别确定模块，用于根据所述分类结果确定所述目标图像的目标类别。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的图像分类方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的图像分类方法。

本发明实施例的技术方案，通过将目标图像以及目标图像的关联属性信息输入至预选训练好的图像分类模型中，可以得到与目标图像所对应的目标类别，解决了现有技术中人工识别图像时存在人工成本极高、审核效率较低以及误差率较高的问题，实现了准确、便捷、高效的确定目标图像的目标类别的效果。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1为本发明实施例一所提供的一种图像分类方法流程示意图；

图2为本发明实施例一所提供的一种图像分类方法中图像分类模型的结构示意图；

图3为本发明实施例二所提供的训练图像分类模型的流程示意图；

图4为本发明实施例三所提供的一种图像分类装置结构示意图；

图5为本发明实施例四所提供的一种电子设备结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一所提供的一种图像分类方法流程示意图，本实施例可适用于对用户上传的图像进行分类处理的情况，该方法可以由图像分类装置来执行，该装置可以通过软件和/或硬件的形式实现，其中，硬件可以是电子设备、终端设备等。

如图1所述，本实施例的方法包括：

S110、确定目标图像的关联属性信息。

其中，可以将当前正在处理的图像作为目标图像，即可以将将要对其审核处理的图像作为目标图像。关联属性信息可以是目标图像的尺寸、各像素点的像素值、图片中连通域的数量、连通域的面积等信息。

具体的，在获取到目标图像后，可以直接提取出目标图像的关联属性信息，例如，目标图像中每个像素点的像素值等；还可以是对目标图像处理后，确定目标图像的关联属性信息，例如，目标图像中连通域的数量等。可以将上述操作所得到的信息作为目标图像的关联属性信息。

在本实施例中，确定目标图像的关联属性信息可以是：若关联属性信息包括目标图像的标题规范结果，确定目标图像的关联属性信息，包括：将目标图像的标题信息输入至预先训练好的标题规范二分类模型中，得到与目标图像对应的标题规范分类结果；标题规范分类结果为用于表征标题为规范的第一数值，或用于表征标题为不规范的第二数值。

需要说明的是，用户不仅可以上传门店的图像，还可以上传相应文字表述，可以将文字表述作为目标图像关联属性信息中的一个评估项，此时的文字表述主要是对门店的文字表述，通常情况下，文字表述规范的门店，其上传的图像也是规范的，因此可以将文字表述是否规范作为对目标图像进行审核的参考指标。

其中，目标图像的标题信息可以是对目标图像所属门店进行描述的文字，通常标题信息主要是门店标题或对门店的描述。标题规范二分类模型为预先训练的，用于对标题信息进行处理，确定其规范性。标题规范二分类模型的输出结果可以是两个数值中的任意一个，可选的，两个数值为0和1,0表示标题是规范的，1表示标题是不规范的，即，可以将0作为第一数值，1作为第二数值。

在本实施例中，确定目标图像的标识信息是否规范的原因在于：各平台对门店标题信息也是有一定规范要求的，有些门店的标题信息是符合平台要求的，有些是不符合平台要求的。通常情况下标题符合要求的，其上传的图片多是也符合要求的，因此，可以将标题信息是否规范作为对目标体审核的一个参考项。

在基于标题规范二分类模型对目标图像的标题信息进行处理之前，可以先训练得到标题规范二分类模型。其具体的训练过程可以是：获取多个训练样本数据，训练样本数据中包括规范的标题信息和不规范的标题信息；基于多个训练样本数据来训练得到标题规范二分类模型，以基于标题规范二分类模型来确定标题信息是否规范。

具体的，将与目标图像所对应的标题信息输入至预先训练好的标题规范二分类模型中，标题规范二分类模型可以输出用于表示标题是否规范数值。若模型输出的数值为第一数值时，则说明与目标图像所对应的标题信息是规范的，相应的，若模型输出的数值为第二数值，则说明与目标图像所对应的标题信息是不规范的。

需要说明的是，标题信息的长度通常也反映一定的信息，因此关联属性信息也包括标题信息的字符串长度，即可以将标题信息的字符串长度也作为对目标图像进行审核的参考项。

经过数据分析可知：符合要求的图像必须是真实拍摄的图像，通常真实拍摄的图像多是实景，因此真实拍摄的图像其构成相对复杂，连通区域的数量相对较多，而虚拟图像的连通区域数量相对较少，因此，可以将图像中连通区域的数量作为对目标图像进行审核的参考项。

可选的，所述关联属性信息包括所述目标图像中连通区域的数量以及连通区域的目标面积占比，所述确定目标图像的关联属性信息，包括：基于预先确定的连通区域标记法，确定所述目标图像中连通区域的数量；针对各连通区域，确定当前连通区域所占像素点的当前数量，基于所述当前数量以及所述目标图像的总像素点数量，确定各连通区域的面积占比；从所有面积占比中确定最大的面积占比，并将所述最大的面积占比作为所述目标面积占比。

其中，可以基于区域生长法提取出图像中的连通区域，也可以采用连通区域标记法确定目标图像中的连通区域的数量，可选的，连通区域的数量为10个。在标记出连通区域并确定连通区域的数量后，可以分别确定每个连通区域的区域面积。确定连通区域的面积可以采用任意方法来确定，在本实施例中，主要是根据每个连通区域在目标图像中所占的像素点数量来确定的。目标面积占比是各连通区域面积占比最大的面积占比。

需要说明是，确定目标图像中连通区域的数量以及连通区域的面积占比的方法，本实施例中不做具体限定，只要能够实现确定连通区域的数量以及面积占比即可。

具体的，根据连通区域标记法确定目标图像中连通区域的数量，可以将此数量作为对目标图像进行审核处理的参数。即作为输入至图像分类模型中的一个元素。在确定连通区域的数量后，可以确定每个连通区域中各像素点的数量，根据连通区域中各像素点的数量以及目标图像的总像素点数量，确定各连通区域的面积占比。同时，可以将面积占比最大的值作为目标面积占比。

进一步的，不符合规范的图像多是虚拟图像，如，logo图，虚拟门店图，此类图形中白色背景所占面积较大，因此可以将目标图像中白色背景所占的面积比例作为确定目标图像类别的一个特征。

可选的，所述关联属性信息包括所述目标图像中白色区域面积占比，所述确定目标图像的关联属性信息，包括：确定与所述目标图像相对应的像素矩阵；所述像素矩阵中的每个元素用于表征每个像素点的像素值；基于所述像素矩阵中各元素的像素值，确定所述目标图像中的白色区域；基于所述白色区域的面积与所述目标图像的面积，确定所述目标图像的白色区域面积占比。

具体的，图像是由像素点构成的，可以根据目标图像中每个像素点的像素值得到与目标图像相对应的像素矩阵。可以确定像素矩阵中每个像素点的像素值，并根据像素值确定该像素点是不是白色点，进而确定目标图像中的白色区域。在确定白色区域后，可以确定白色区域在目标图像中的面积占比，此占比为白色区域面积占比。

在本实施例中，可以采用上述方式分别确定目标图像的关联属性信息，以便基于目标图像的关联属性信息确定目标图像的类别。

S120、将所述目标图像以及与所述目标图像对应的关联属性信息输入至预选训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果。

其中，图像分类模型为预先训练好的，用于对输入的目标图像以及目标图像的关联属性信息进行处理，可以得到与目标图像所对应的分类结果。分类结果可以是：用于表征目标图像是哪一个类别的标识，可选的，分类结果可以是用于表征目标图像为不违规图像的标识0，也可以是标识图像为违规图像的标识1。

本实施例中，图像分类模型可以是deep-wide模型，图像分类模型由至少三个子模型构成。三个子模型可以分别是全连接深度学习子模型，即wide子模型；基于迁移学习的深度学习子模，即deep子模型；还包括注意力子模型，用于对全连接深度学习子模型和基于迁移学习的深度学习子模型的输出结果进行加权变换处理。

具体的，可以将目标图像和目标图像的关联属性信息输入至预先训练好的图像分类模型中，图像分类模型可以对其进行处理得到与目标图像相对应的分类结果。

在本实施例中，基于图像分类模型对目标图像以及目标图像的关联属性信息进行处理可以是：基于所述图像分类模型中的基于迁移学习的深度学习子模型对所述目标图像进行处理，得到所述目标图像的第一特征值；通过对所述目标图像的属性信息进行拼接处理，得到输入至所述图像分类模型中全连接深度学习子模型的输入参数，并将所述输入参数输入至所述全连接深度学习子模型中，得到与所述目标图像相对应的第二特征值；基于所述图像分类模型中的注意力子模型对所述第一特征值和所述第二特征值进行加权变化，并输出注意力矩阵数据；基于所述图像分类模型中的目标分类子模型，对所述注意力矩阵数据进行处理，得到与所述目标图像相对应的分类结果。

可以理解为，本实施例中所采用的图像分类模型为deep-wide模型，可以将目标图像输入至基于迁移学习的深度学习子模型中，通过基于迁移学习的深度学习子模型中的backbone子模型提取出目标图像的图像特征，并通过基于迁移学习的深度学习子模型对提取出的图像特征进行处理，得到目标图像的第一特征值，第一特征值也是与目标图像所对应的特征向量。同时，可以对目标图像的关联属性信息进行拼接处理，例如，可以将关联属性信息所对应的值，按照一定的顺序进行拼接得到拼接向量。可以将拼接向量作为图像分类模型中全连接深度学习子模型的输入参数，全连接深度学习子模型可以对输入参数进行处理，得到与关联属性信息相对应的第二特征值。在得到第一特征值和第二特征值后，可以基于注意力子模型对第一特征值和第二特征值进行加权变换，得到与目标图像相对应的注意力矩阵数据。最后，基于图像分类模型中的目标分类子模型，对注意力矩阵数据进行处理，得到与目标图像相对的分类结果。

上述过程可以理解为，参见图2，在得到目标图像的各个关联属性信息后，可以对所有关联属性信息进行特征拼接，即，可以将规范分类结果、标题信息字符串长度、连通区域的数量、连通区域最大面积占比以及白色区域面积占比所对应的值拼接在一起后，得到输入至图像分类模型的输入参数。将输入参数输入至图像分类模型后，可以得到目标图像的第一特征值。同时，基于全连接深度学习子模型对目标图像进行处理，也主要是先使用训练过的骨干网络对目标图像进行特征提取，例如，backbone的选择可以是mobileNET，resnet等网络来提取目标图像的特征。为了更好的利用提取出的特征，全连接深度学习子模型中还包括self-attention层进行特征处理，以保证提取出最有效的信息。在提取出有效信息后，可以进行卷积处理，可选的，使用3*3卷积，并对卷积处理后的结果进行平均池化，得到第二特征值。在分别获取到deep部分与wide部分的特征后，可以针对这两部分特征使用attention组件进行特征选择，即基于注意力子模型对第一特征和第二特征进行加权变换处理，可以得到最有效的特征表征；接下来，利用线形层进行特征变换，可选的，使用的是128个线性节点，当然，也可以使用其他数量的节点；最后将处理结果输入至分类层，可选的，目标分类子模型中，对注意力矩阵数据进行处理，得到目标图像的分类结果。

S130、根据所述分类结果确定所述目标图像的目标类别。

其中，目标类别是预先设置的类别中的一个，即目标类别是与目标图像所对应的类别相对应的，可选的，所述目标类别包括违规类别和不违规类别中的任意一个。

具体的，可以根据图像分类模型输出的分类结果，确定目标图像是违规图像，还是不违规图像，此种方式提高了确定目标图像是否违规的准确性以及便捷性的技术效果。

本发明实施例的技术方案，通过将目标图像以及目标图像的关联属性信息输入至预选训练好的图像分类模型中，可以得到与目标图像所对应的目标类别，解决了现有技术中人工识别图像时存在人工成本极高、审核效率较低以及误差率较高的问题，实现了准确、便捷、高效的确定目标图像的目标类别的效果。

实施例二

图3为本发明实施例二所提供的训练图像分类模型的流程示意图。在前述实施例的基础上，可以预先构建图像分类模型，并对构建的图像分类模型进行训练，以便基于训练完成的图像分类模型对图像进行处理，从而提高图像处理效率的技术效果。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图3所示，所述方法包括：

S210、构建初始图像分类模型。

在本实施例中，构建初始图像分类模型可以是：图像分类模型包括基于迁移学习的深度学习子模型、与所述基于迁移学习的深度学习子模型相连接的特征提取子模型模型、所述全连接深度学习子模型、注意力子模型和目标分类子模型。

其中，图像分类模型中包括两个分支，两个分支主要是对图像进行处理的分支，和对目标图像的关联属性信息进行处理的分支。对目标图像进行处理的分支主要包括特征提取子模型，可以将目标图像作为特征提取子模型的输入参数，提取目标图像的初步图像特征，并将初步图像特征作为与特征提取子模型相连接的基于迁移学习的深度学习子模型的输入，输入至第二神经网络子模型中。通过基于迁移学习的深度学习子模型，对初步图像特征进行处理，输出与初步图像特征相对应的第一特征值，即得到与目标图像相对应的第一特征值。

需要说明的是，初始图像分类模型中也可以不包括特征提取子模型，可以是预先对目标图像进行特征提取，将目标图像的图像特征和目标图像的关联属性信息作为图像分类模型的输入参数。

第二个分支可以是包括全连接深度学习子模型的分支。可以将目标图像的关联属性信息进行拼接处理后，输入至全连接深度学习子模型中，得到目标图像的第二特征值。

为了提高模型的准确率，可以将第一分支和第二分支的输出结果作为注意力矩阵子模型的输入，输出得到目标图像所对应的注意力矩阵数据。即，注意力矩阵子模型，用于对第一特征值和第二特征值进行加权变化处理，得到目标图像的注意力矩阵数据。可以将注意力矩阵数据作为图像分类模型中目标分类子模型的输入参数，其输出结果为目标图像的目标分类结果。

基于上述方式可以构建出图像分类模型。

S220、训练预先构建的初始图像分类模型。

基于上述技术方案，在初始图像分类模型构建完成后，可以对构建完成的待训练图像分类模型(初始图像分类模型)进行训练，以得到对目标图像进行分类处理的图像分类模型。

在本实施例中，训练待训练图像分类模型可以是：获取多个训练样本数据，每个训练样本数据中包括：样本图像、所述样本图像的关联属性信息以及所述样本图像的类别标记。

其中，可以将样本数据中参与模型训练的样本数据作为训练样本数据。为了提高模型输出结果的准确性，可以尽可能多的获取样本数据。每个训练样本数据中包括样本图像，样本图像的关联属性信息，以及样本图像的类别标记。即，已预先确定样本图像的类别是规范还是不规范，可以根据规范和不规范对样本图像进行类别标记。

需要说明的是，对每个训练样本数据处理的过程均是相同，下述以对其中一个训练样本数据为例来介绍。

将所述训练样本数据输入至预先构建的初始图像分类模型中，得到与每个训练样本数据相对应的初始值。

其中，可以将预选构建的待训练图像分类模型作为初始图像分类模型。初始值可以理解为将样本数据数据输入至初始图像分类模型后，初始图像分类模型的输出结果。

具体的，可以将每个训练样本数据输入至预先构建的初始图像分类模型中，可以得到与每个训练样本数据相对应的初始值。即，初始值的数量与训练样本数据的数量相一致。

在得到训练样本数据的输出结果后，可以基于反向传播算法以及与每个训练样本数据对应的初始值，对所述初始图像分类模型中的预设损失函数进行修正。

需要说明的是，在对初始图像分类模型训练之前可以将模型中的训练参数设置为默认值。在对初始图像分类模型训练时，可以基于初始图像分类模型的输出结果修正模型中的训练参数，也就是说，可以通过对初始图像分类模型中的损失函数进行修正，来得到图像分类模型。

可以理解为：在得到初始值后，可以基于反向传播算法对初始值以及训练样本数据中的类别标记进行处理，确定初始图像分类模型中的损失参数，并基于损失参数对损失函数进行修正。

最后，将所述预设损失函数达到收敛作为训练目标，对所述初始图像分类模型进行训练，以训练得到所述图像分类模型。

具体的，可以将损失函数的训练误差，即损失参数作为检测损失函数当前是否达到收敛的条件，比如训练误差是否小于预设误差或误差变化趋势是否趋于稳定，或者当前的迭代次数是否等于预设次数。若检测达到收敛条件，比如损失函数的训练误差达到小于预设误差或误差变化趋于稳定，表明初始图像分类模型训练完成，此时可以停止迭代训练。若检测到当前未达到收敛条件，可以进一步获取训练样本数据对初始图像分类模型进行训练，直至损失函数的训练误差在预设范围之内。当损失函数的训练误差达到收敛时，可以将初始图像分类模型作为可使用的图像分类模型。

S230、确定目标图像的关联属性信息。

S240、将目标图像以及与目标图像对应的关联属性信息输入至预选训练好的图像分类模型中，并获取图像分类模型输出的分类结果.

其中，图像分类模型包括全连接深度学习子模型、基于迁移学习的深度学习子模型以及注意力子模型，注意力子模性用于对全连接深度学习子模型和基于迁移学习的深度学习子模型的输出结果进行加权变换处理。

S250、根据所述分类结果确定所述目标图像的目标类别。

本发明实施例的技术方案，通过预先构建图像分类模型，并对构建的图像分类模型进行训练，以在基于训练好的图像分类模型确定图像的目标类别时，提高了确定目标类别准确性以及便捷性的技术效果。

实施例三

图4为本发明实施例三提供的一种图像分类装置的结构示意图，该装置包括：属性信息确定模块310、分类结果输出模块320和类别确定模块330。

其中，属性信息确定模块310，用于确定目标图像的关联属性信息；分类结果输出模块320，用于将所述目标图像以及与所述目标图像对应的关联属性信息输入至预选训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果；其中，所述图像分类模型包括全连接深度学习子模型、基于迁移学习的深度学习子模型以及注意力子模型，所述注意力子模性用于对所述全连接深度学习子模型和所述基于迁移学习的深度学习子模型的输出结果进行加权变换；类别确定模块330，用于根据所述分类结果确定所述目标图像的目标类别。

本发明实施例的技术方案，通过将目标图像以及目标图像的关联属性信息输入至预选训练好的图像分类模型中，可以得到与目标图像所对应的目标类别，解决了现有技术中人工识别图像时存在人工成本极高、审核效率较低以及误差率较高的问题，实现了准确、便捷、高效的确定目标图像的目标类别的效果。

在上述技术方案的基础上，所述关联属性信息包括所述目标图像的标题规范结果，所述属性信息确定模块，还用于：

将所述目标图像的标题信息输入至预先训练好的标题规范二分类模型中，得到与所述目标图像对应的标题规范分类结果；所述标题规范分类结果为用于表征标题为规范的第一数值，或用于表征标题为不规范的第二数值。

在上述各技术方案的基础上，所述关联属性信息包括所述目标图像中连通区域的数量以及连通区域的目标面积占比，所述属性信息确定模块，还用于：

连通区域数量确定单元，用于基于预先确定的连通区域标记法，确定所述目标图像中连通区域的数量；连通区域面积占比确定单元，用于针对各连通区域，确定当前连通区域所占像素点的当前数量，基于所述当前数量以及所述目标图像的总像素点数量，确定各连通区域的面积占比；目标面积占比确定单元，用于从所有面积占比中确定最大的面积占比，并将所述最大的面积占比作为所述目标面积占比。

在上述各技术方案的基础上，所述关联属性信息包括所述目标图像中白色区域面积占比，所述属性信息确定模块，还用于：

像素矩阵确定单元，用于确定与所述目标图像相对应的像素矩阵；所述像素矩阵中的每个元素用于表征每个像素点的像素值；白色区域确定单元，用于基于所述像素矩阵中各元素的像素值，确定所述目标图像中的白色区域；白色区域面积占比确定单元，用于基于所述白色区域的面积与所述目标图像的面积，确定所述目标图像的白色区域面积占比。

在上述各技术方案的基础上，所述分类结果确定模块，还用于：

第一特征值确定单元，用于基于所述图像分类模型中的基于迁移学习的深度学习子模型对所述目标图像进行处理，得到所述目标图像的第一特征值；

第二特征值确定单元，用于通过对所述目标图像的属性信息进行拼接处理，得到输入至所述图像分类模型中全连接深度学习子模型的输入参数，并将所述输入参数输入至所述全连接深度学习子模型中，得到与所述目标图像相对应的第二特征值；

注意力矩阵数据确定单元，用于基于所述图像分类模型中的注意力子模型对所述第一特征值和所述第二特征值进行加权变化，并输出注意力矩阵数据；

分类结果确定单元，基于所述图像分类模型中的目标分类子模型，对所述注意力矩阵数据进行处理，得到与所述目标图像相对应的分类结果。

在上述各技术方案的基础上，所述目标类别包括违规类别或不违规类别。

在上述各技术方案的基础上，所述装置还包括：模型训练模块，用于训练所述图像分类模型；

所述模型训练模块，还用于：

获取多个训练样本数据，每个训练样本数据中包括：样本图像、所述样本图像的关联属性信息以及所述样本图像的类别标记；将所述训练样本数据输入至预先构建的初始图像分类模型中，得到与每个训练样本数据相对应的初始值；基于反向传播算法以及与每个训练样本数据对应的初始值，对所述初始图像分类模型中的预设损失函数进行修正；将所述预设损失函数达到收敛作为训练目标，对所述初始图像分类模型进行训练，以训练得到所述图像分类模型。

在上述各技术方案的基础上，所述预先构建的初始图像分类模型包括：与所述基于迁移学习的深度学习子模型相连接的特征提取子模型模型，所述基于迁移学习的深度学习子模型、所述全连接深度学习子模型、注意力子模型和目标分类子模型；其中，

所述特征提取子模型，用于提取所述目标图像的初步图像特征，并将所述初步图像特征输入至所述基于迁移学习的深度学习子模型中；所述基于迁移学习的深度学习子模型，用于对输入的所述初步图像特征进行处理，并输出与所述初步图像特征相对应的第一特征值；所述全连接深度学习子模型，用于对所述关联属性信息进行处理，得到所述目标图像的第二特征值；所述注意力子模型，用于对所述第一特征值和所述第二特征值进行加权变换，并输出注意力矩阵数据；所述目标分类子模型，用于根据所述注意力模块输出的所述注意力矩阵数据得到所述目标图像的目标分类结果。

本发明实施例所提供的图像分类装置可执行本发明任意实施例所提供的图像分类方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

实施例四

图5为本发明实施例四提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施例实施方式的示例性电子设备40的框图。图5显示的电子设备40仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备40以通用计算设备的形式表现。电子设备40的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。

总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备40访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统406可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。

电子设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信，还可与一个或者多个使得用户能与该电子设备40交互的设备通信，和/或与使得该电子设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，电子设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与电子设备40的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备40使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种图像分类方法。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行图像分类方法。

该方法包括：

确定目标图像的关联属性信息；

将所述目标图像以及与所述目标图像对应的关联属性信息输入至预选训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果；其中，所述图像分类模型包括全连接深度学习子模型、基于迁移学习的深度学习子模型以及注意力子模型，所述注意力子模性用于对所述全连接深度学习子模型和所述基于迁移学习的深度学习子模型的输出结果进行加权变换处理；

根据所述分类结果确定所述目标图像的目标类别。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种图像分类方法，其特征在于，包括：

确定目标图像的关联属性信息；

将所述目标图像以及与所述目标图像对应的关联属性信息输入至预先训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果；

根据所述分类结果确定所述目标图像的目标类别；

所述将所述目标图像以及与所述目标图像对应的关联属性信息输入至预先训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果，包括：

基于所述图像分类模型中的基于迁移学习的深度学习子模型对所述目标图像进行处理，得到所述目标图像的第一特征值；

通过对所述目标图像的属性信息进行拼接处理，得到输入至所述图像分类模型中全连接深度学习子模型的输入参数，并将所述输入参数输入至所述全连接深度学习子模型中，得到与所述目标图像相对应的第二特征值；

基于所述图像分类模型中的注意力子模型对所述第一特征值和所述第二特征值进行加权变化，并输出注意力矩阵数据；

基于所述图像分类模型中的目标分类子模型，对所述注意力矩阵数据进行处理，得到与所述目标图像相对应的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述关联属性信息包括所述目标图像的标题规范结果，所述确定目标图像的关联属性信息，包括：

将所述目标图像的标题信息输入至预先训练好的标题规范二分类模型中，得到与所述目标图像对应的标题规范分类结果；所述标题规范分类结果为用于表征标题为规范的第一数值，或用于表征标题为不规范的第二数值。

3.根据权利要求2所述的方法，其特征在于，所述关联属性信息还包括所述标题信息的字符串长度。

4.根据权利要求1所述的方法，其特征在于，所述关联属性信息包括所述目标图像中连通区域的数量以及连通区域的目标面积占比，所述确定目标图像的关联属性信息，包括：

基于预先确定的连通区域标记法，确定所述目标图像中连通区域的数量；

针对各连通区域，确定当前连通区域所占像素点的当前数量，基于所述当前数量以及所述目标图像的总像素点数量，确定各连通区域的面积占比；

从所有面积占比中确定最大的面积占比，并将所述最大的面积占比作为所述目标面积占比。

5.根据权利要求1所述的方法，其特征在于，所述关联属性信息包括所述目标图像中白色区域面积占比，所述确定目标图像的关联属性信息，包括：

确定与所述目标图像相对应的像素矩阵；所述像素矩阵中的每个元素用于表征每个像素点的像素值；

基于所述像素矩阵中各元素的像素值，确定所述目标图像中的白色区域；

基于所述白色区域的面积与所述目标图像的面积，确定所述目标图像的白色区域面积占比。

6.根据权利要求1所述的方法，其特征在于，所述目标类别包括违规类别或不违规类别。

7.根据权利要求1所述的方法，其特征在于，还包括：训练所述图像分类模型；

所述训练所述图像分类模型，包括：

获取多个训练样本数据，每个训练样本数据中包括：样本图像、所述样本图像的关联属性信息以及所述样本图像的类别标记；

将所述训练样本数据输入至预先构建的初始图像分类模型中，得到与每个训练样本数据相对应的初始值；

基于反向传播算法以及与每个训练样本数据对应的初始值，对所述初始图像分类模型中的预设损失函数进行修正；

将所述预设损失函数达到收敛作为训练目标，对所述初始图像分类模型进行训练，以训练得到所述图像分类模型。

8.根据权利要求7所述的方法，其特征在于，所述预先构建的初始图像分类模型包括：与所述基于迁移学习的深度学习子模型相连接的特征提取子模型模型，所述基于迁移学习的深度学习子模型、所述全连接深度学习子模型、注意力子模型和目标分类子模型；

其中，所述特征提取子模型，用于对输入的目标图像进行特征提取，并得到与所述目标图像所对应的初步图像特征，并将所述初步图像特征输入至所述基于迁移学习的深度学习子模型中；

所述基于迁移学习的深度学习子模型，用于对输入的所述初步图像特征进行处理，并输出与所述初步图像特征相对应的第一特征值；

所述全连接深度学习子模型，用于对所述关联属性信息进行处理，得到所述目标图像的第二特征值；

所述注意力子模型，用于对输入的所述第一特征值和所述第二特征值进行加权变换，并输出注意力矩阵数据；

所述目标分类子模型，用于对所述注意力子模型输出的所述注意力矩阵数据进行处理，得到所述目标图像的目标分类结果。

9.一种图像分类装置，其特征在于，包括：

属性信息确定模块，用于确定目标图像的关联属性信息；

分类结果输出模块，用于将所述目标图像以及与所述目标图像对应的关联属性信息输入至预先训练好的图像分类模型中，并获取所述图像分类模型输出的分类结果；类别确定模块，用于根据所述分类结果确定所述目标图像的目标类别；

所述分类结果确定模块，还用于：

第一特征值确定单元，用于基于所述图像分类模型中的基于迁移学习的深度学习子模型对所述目标图像进行处理，得到所述目标图像的第一特征值；

第二特征值确定单元，用于通过对所述目标图像的属性信息进行拼接处理，得到输入至所述图像分类模型中全连接深度学习子模型的输入参数，并将所述输入参数输入至所述全连接深度学习子模型中，得到与所述目标图像相对应的第二特征值；

注意力矩阵数据确定单元，用于基于所述图像分类模型中的注意力子模型对所述第一特征值和所述第二特征值进行加权变化，并输出注意力矩阵数据；

分类结果确定单元，基于所述图像分类模型中的目标分类子模型，对所述注意力矩阵数据进行处理，得到与所述目标图像相对应的分类结果。

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的图像分类方法。

11.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的图像分类方法。