CN109754024B - 图像分类方法和装置 - Google Patents

Abstract

本发明公开了一种图像分类方法和装置，属于图像处理领域，该方法包括：对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像；提取所述背景干扰度小于或等于预设值的图像的图像特征；根据所述图像特征和分类模型，确定所述背景干扰度小于或等于预设值的图像的类别。基于上述方法，在对待分类的图像进行分类前，先对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像，待后续处理。进而降低背景信息对图像的干扰，提高对图像的识别准确率，同时无需针对背景信息不同的图像进行反复训练，提高训练效率，降低训练成本。

Description

图像分类方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像分类方法和装置。

背景技术

在自动化测试中，有很多操作需要依赖图像分类技术，对于背景为纯色或者干扰性不大的图像，普通的分类模型就可以完成图像分类的任务，但是当背景干扰性较大的图像时，普通的分类模型完成图像分类的任务有难度，比如直播界面中的返回按钮，背景即直播界面，基于每次截取返回按钮图像时其背景都是变化的，如果直接将该类的图像加入分类模型训练，降低图像的识别准确率。

发明内容

本发明实施例提供一种图像分类方法和装置，以解决现有技术对图像的识别准确率较低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，提供了一种图像分类方法，该方法包括：

对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像；

提取所述背景干扰度小于或等于预设值的图像的图像特征；

根据所述图像特征和分类模型，确定所述背景干扰度小于或等于预设值的图像的类别。

可选的，所述对待分类的图像进行处理，包括：

通过除噪模型对所述待分类的图像进行处理。

可选的，在通过除噪模型对所述待分类的图像进行处理之前，所述方法包括：

获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，所述背景干扰度大于所述预设值的样本图像与所述背景干扰度小于或等于所述预设值的样本图像一一对应；

根据所述背景干扰度大于所述预设值的样本图像以及所述背景干扰度小于或等于所述预设值的样本图像进行训练，得到所述除噪模型。

可选的，所述获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，包括：

从测试应用中获取所述背景干扰度大于所述预设值的样本图像和所述背景干扰度小于或等于所述预设值的样本图像。

可选的，所述获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，包括：

从测试应用中获取所述背景干扰度小于或等于所述预设值的样本图像；

将所述背景干扰度小于或等于所述预设值的样本图像的背景进行处理，得到所述背景干扰度大于所述预设值的样本图像。

可选的，所述对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像，包括：

对所述待分类的的图像进行标准化处理，得到标准化的图像；

对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据；

对所述降维压缩后的图像数据进行上采样处理，得到采样后的图像数据；

对所述采样后的图像数据进行下采样处理，得到复原后的图像数据；

对所述复原后的图像数据经激活函数处理，得到所述背景干扰度小于或等于所述预设值的图像。

可选的，所述对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据，包括：

通过对所述标准化的图像数据进行卷积和池化操作，实现降维处理。

可选的，所述对所述降维压缩后的图像数据进行向上采样处理，得到采样后的图像数据，包括：

采用最近邻插值法对所述降维压缩后的图像数据进行向上采样处理，得到所述采用后的图像数据。

可选的，所述除噪模型包括卷积自编码器模型，所述分类模型包括视觉几何组分类模型。

第二方面，提供了一种图像分类装置，该装置包括：

处理模块，用于对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像；

提取模块，用于提取所述背景干扰度小于或等于预设值的图像的图像特征；

分类模块，用于根据所述图像特征和分类模型，确定所述背景干扰度小于或等于预设值的图像的类别。

在本发明实施例中，首先，将待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像；其次，提取背景干扰度小于或等于预设值的图像的图像特征；最后，根据图像特征和分类模型进行分类，得到分类结果。在对待分类的图像进行分类前，对待分类的图像的背景信息进行处理，得到背景干扰度小于或等于预设值的图像，待后续处理，进而降低背景信息对图像的干扰，提高对图像的识别准确率，同时无需针对背景信息不同的图像进行反复训练，提高训练效率，降低训练成本。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的一个实施例的图像分类方法的流程示意图；

图2是本发明的另一个实施例的背景干扰度小于或等于预设值的样本图像；

图3是本发明的再一个实施例的背景干扰度大于预设值的样本图像；

图4是本发明的还一个实施例的背景干扰度小于或等于预设值的样本图像和背景干扰度大于预设值的样本图像；

图5是本发明的另一个实施例的背景干扰度小于或等于预设值的图像和背景干扰度大于预设值的图像；

图6是本发明的另一个实施例的卷积自编码器模型的结构示意图；

图7是本发明的再一个实施例的视觉几何组分类模型的结构示意图；

图8是本发明的一个实施例的图像分类装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术对图像的识别准确率较低的问题，如图1所示，提供了一种图像分类方法，该方法包括：

S110，对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像。

在S110中，为了能减少背景信息对待分类的图像的干扰，因此对待分类的图像的背景信息进行处理，得到背景干扰度小于或等于预设值的图像，待后续对背景干扰度小于或等于预设值的图像进行处理，有效地减少背景信息对待分类图像的干扰，该预设值是根据实际测试而得到的。

其中，待分类的图像包括背景干扰度大于预设值的图像和背景干扰度小于或等于预设值的图像，背景干扰度大于预设值的图像包含带彩色背景的图像或背景信息不同的图像，背景干扰度小于或等于预设值的图像包含带纯色背景的图像或无背景干扰的图像，该无背景干扰图像相当于图像仅包括图标。

例如，将带纯色背景的图像进行处理，得到无背景信息干扰的图像；将背景信息不同的图像进行处理，得到带纯色背景的图像。

S120，提取所述背景干扰度小于或等于预设值的图像的图像特征。

在S120中，为了能快速对背景干扰度小于或等于预设值的图像进行分类和识别，则对背景干扰度小于或等于预设值的图像进行分类前，需提取背景干扰度大于或等于预设值的图像的图像特征，待后续处理。

S130，根据所述图像特征和分类模型，确定所述背景干扰度小于或等于预设值的图像的类别。

在S130中，将提取到的图像特征通过分类模型进行分类处理，确定与图像特征对应的图像的类别。

例如，提取无背景信息干扰的图像的图像特征，将提取到的图像特征通过分类模型进行分类处理，确定无背景信息干扰的图像的类别为第一类；提取带纯色背景的图像的图像特征，将提取到的图像特征通过分类模型进行分类处理，确定带纯色背景的图像的类别为第二类。

基于上述方法，在对待分类的图像进行分类前，对待分类的图像的背景信息进行处理，得到背景干扰度小于或等于预设值的图像，起到降低背景信息对图像干扰的作用，再从背景干扰度小于或等于预设值的图像提取图像特征，最后将图像特征通过分类模型进行分类处理，提高分类模型对图像的分类准确率，提高分类模型对图像的识别准确率。

另外，在自动测试中，会遇到很多类别的图像，也无需针对每个类别的背景信息不同的图像进行重新训练，降低训练成本，同时也无需针对背景信息不同的图像进行反复训练，提高训练效率。

可选的，所述对待分类的图像进行处理，包括：

通过除噪模型对所述待分类的图像进行处理。

在一些实施例中，对待分类的图像的处理方式有很多种，比如，通过除噪模型对待分类的图像进行处理。其中，除噪模型作为分类模型的前置模型，该除噪模型与分类模型是独立的，除噪模型可以同时对背景干扰度大于预设值的图像和背景干扰度小于或等于预设值的图像进行训练，进而提高训练效率。

可选的，在通过除噪模型对所述待分类的图像进行处理之前，所述方法包括：

获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，所述背景干扰度大于所述预设值的样本图像与所述背景干扰度小于或等于所述预设值的样本图像一一对应；

根据所述背景干扰度大于所述预设值的样本图像以及所述背景干扰度小于或等于所述预设值的样本图像进行训练，得到所述除噪模型。

在一些实施例中，在通过除噪模型对待分类的图像进行处理之前，需要对除噪模型进行训练，其训练过程如下：首先获取背景干扰度大于预设值的样本图像和背景干扰度小于或等于预设值的样本图像，其中，背景干扰度大于预设值的样本图像和背景干扰度小于或等于预设值的样本图像一一对应的，这样可以覆盖各种类别的样本图像，提高图像的识别准确率；其次将获取到的背景干扰度大于预设值的样本图像和背景干扰度小于或等于预设值的样本图像进行训练，得到除噪模型，当有新类别的样本图像时，将新类别的样本图像进行再次训练，优化除噪模型。

可选的，所述获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，包括：

从测试应用中获取所述背景干扰度大于所述预设值的样本图像和所述背景干扰度小于或等于所述预设值的样本图像。

在一些实施例中，如图2所示，从测试应用中获取背景干扰度小于或等于预设值的样本图像，或者从阿里图标库获取背景干扰度小于或等于预设值的样本图像。为了能训练更优化的除噪模型，这里采用真实的背景干扰度大于预设值的样本图像，如图3所示，直接从测试应用中获取背景干扰度大于预设值的样本图像，比如，直播页面图和Bananer图，该Bananer图又称横幅图。

此外，如图4所示，将获取到的背景干扰度大于预设值的样本图像和背景干扰度小于或等于预设值的样本图像进行训练，得到除噪模型，当有新类别的样本图像时，将新类别的样本图像进行再次训练，优化除噪模型。

还有，如图5所示，将待分类的图像经训练好的除噪模型进行处理，得到背景干扰度小于或等于预设值的图像，并提取该图像的图像特征。

可选的，所述获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，包括：

从测试应用中获取所述背景干扰度小于或等于所述预设值的样本图像；

将所述背景干扰度小于或等于所述预设值的样本图像的背景进行处理，得到所述背景干扰度大于所述预设值的样本图像。

在一些实施例中，从测试应用中仅获取背景干扰度小于或等于预设值的样本图像，为了提高工作效率，这里是对背景干扰度小于或等于预设值的样本图像通过添加方式进行处理，得到背景干扰度大于预设值的样本图像。

可选的，所述对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像，包括：

对所述待分类的图像进行标准化处理，得到标准化的图像；

对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据；

对所述降维压缩后的图像数据进行上采样处理，得到采样后的图像数据；

对所述采样后的图像数据进行下采样处理，得到复原后的图像数据；

对所述复原后的图像数据经激活函数处理，得到所述背景干扰度小于或等于所述预设值的图像。

在一些实施例中，对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像的具体过程下：为了让后续更好地提取图像特征，首先对待分类的图像进行标准化处理，得到标准化的图像，减少其他因素对图像的干扰；其次对标准化的图像进行降维压缩处理，得到降维压缩后的图像数据，以便于后续提取主要的图像数据；然后对降维压缩后的图像数据进行向上采样处理，得到采样后的图像数据，在一定的程度上起到过拟合的作用；再次对采样后的图像数据进行下采样处理，得到复原后的图像数据；最后对复原后的图像数据经激活函数处理，得到背景干扰度小于或等于预设值的图像，并将该图像进行保存。

可选的，所述对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据，包括：

通过对所述标准化的图像数据进行卷积和池化操作，实现降维处理。

在一些实施例中，对标准化的图像数据进行卷积和池化操作，实现降维处理。一方面使图像数据变少，简化网络计算复杂度；一方面进行图像数据压缩，提取主要的图像数据。

可选的，所述对所述降维压缩后的图像数据进行向上采样处理，得到采样后的图像数据，包括：

采用最近邻插值法对所述降维压缩后的图像数据进行向上采样处理，得到所述采用后的图像数据。

在一些实施例中，为了方便后续提取图像特征，采用最近邻插值法对所述降维压缩后的图像数据进行向上采样处理，得到采样后的图像数据。

可选的，所述除噪模型包括卷积自编码器模型，所述分类模型包括视觉几何组分类模型。

除噪模型和分类模型的选择方式有很多种，比如，除噪模型包括去噪自编码器和卷积自编码器，分类模型包括高斯混合模型和视觉几何组分类模型，根据实际情况需求选择相应的除噪模型和分类模型，而在一些实施例中，除噪模型包括卷积自编码器模型，卷积自编码器模型简称CAE模型，相对于其他除噪模型，CAE模型有如下优点：1、CAE模型作为前置模型，和后续的分类模型是独立的，两者的训练是分开的；2、可以加入所有类别的图像，不用每个类别的图像单独训练；3、CAE模型一般都是轻量级的，训练时间很短，这样增加类别或者增加背景信息不同的图像，重新训练的效率会很高。该CAE 模型的网络结构是一种简单的CNN网络结构，如图6所示，其网络结构葱从下至上依次包括输入层、编码层、解码层、输出层，输入层用于对待分类的图像进行标准化处理，得到标准化的图像；编码层用于对标准化的图像进行降维压缩处理，得到降维压缩后的图像数据；解码层用于先对降维压缩后的图像数据进行向上采样处理，得到采样后的图像数据，再对采样后的图像数据进行下采样处理，得到复原后的图像数据；输出层用于对复原后的图像数据经激活函数处理，得到背景干扰度小于或等于预设值的图像。分类模型包括视觉几何组分类模型，视觉几何组分类模型简称VGG分类模型，如图7所示，该VGG 分类模型是一种经典的神经网络CNN模型，能够很好的完成图像特征提取，广泛应用于图像分类等任务上。相对于其他分类模型，VGG分类模型有如下特点：1、小卷积核，卷积核全部替换为3x3(极少用了1x1)；2、小池化核，相比3x3的池化核，VGG全部为2x2的池化核；3、层数更深特征图更宽，基于前两点外，由于卷积核专注于扩大通道数、池化专注于缩小宽和高，使得模型架构上更深更宽的同时，计算量的增加放缓；4、全连接转卷积，网络测试阶段将训练阶段的三个全连接替换为三个卷积，测试重用训练时的参数，使得测试得到的全卷积网络因为没有全连接的限制，因而可以接收任意宽或高为的输入。

可选的，提供了一种图像分类装置，如图8所示，该装置80包括：

处理模块81，用于对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像；

提取模块82，用于提取所述背景干扰度小于或等于预设值的图像的图像特征；

分类模块83，用于根据所述图像特征和分类模型，确定所述背景干扰度小于或等于预设值的图像的类别。

可选的，作为一个实施例，所述处理模块81，包括：

除噪子模块，用于通过除噪模型对所述待分类的图像进行处理。

可选的，作为一个实施例，在除噪子模块之前，所述处理模块81还包括：

获取子模块，用于获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，所述背景干扰度大于所述预设值的样本图像与所述背景干扰度小于或等于所述预设值的样本图像一一对应；

训练子模块，用于根据所述背景干扰度大于所述预设值的样本图像以及所述背景干扰度小于或等于所述预设值的样本图像进行训练，得到所述除噪模型。

可选的，作为一个实施例，所述获取子模块，用于：

从测试应用中获取所述背景干扰度大于所述预设值的样本图像和所述背景干扰度小于或等于所述预设值的样本图像。

可选的，作为一个实施例，所述获取子模块，用于：

从测试应用中获取所述背景干扰度小于或等于所述预设值的样本图像；

将所述背景干扰度小于或等于所述预设值的样本图像的背景进行处理，得到所述背景干扰度大于所述预设值的样本图像。

可选的，作为一个实施例，所述处理模块81，包括：

标准子模块，用于对所述待分类的图像进行标准化处理，得到标准化的图像；

降维压缩子模块，用于对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据；

采样子模块，用于对所述降维压缩后的图像数据进行上采样处理，得到采样后的图像数据；

采样子模块，还用于对所述采样后的图像数据进行下采样处理，得到复原后的图像数据；

激活子模块，用于对所述复原后的图像数据经激活函数处理，得到所述背景干扰度小于或等于所述预设值的图像。

可选的，作为一个实施例，所述降维压缩子模块，包括：

通过对所述标准化的图像数据进行卷积和池化操作，实现降维处理。

可选的，作为一个实施例，所述采样子模块，包括：

采用最近邻插值法对所述降维压缩后的图像数据进行向上采样处理，得到所述采用后的图像数据。

可选的，作为一个实施例，所述除噪模型包括卷积自编码器模型，所述分类模型包括视觉几何组分类模型。

本发明实施例提供的移动终端能够实现图1至图7的方法在实施例中实现的各个过程，为避免重复，这里不再赘述。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (8)

1.一种图像分类方法，其特征在于，所述方法包括：

通过除噪模型对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像，所述除噪模型是根据背景干扰度大于预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像训练得到的，背景干扰度大于预设值的图像包含带彩色背景的图像，背景干扰度小于或等于预设值的图像包含带纯色背景的图像；

提取所述背景干扰度小于或等于预设值的图像的图像特征；

根据所述图像特征和分类模型，确定所述背景干扰度小于或等于预设值的图像的类别；

其中，所述通过除噪模型对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像，包括：

对所述待分类的图像进行标准化处理，得到标准化的图像；

对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据；

对所述降维压缩后的图像数据进行下采样处理，得到采样后的图像数据；

对所述采样后的图像数据进行上采样处理，得到复原后的图像数据；

对所述复原后的图像数据经激活函数处理，得到所述背景干扰度小于或等于所述预设值的图像。

2.如权利要求1所述的方法，其特征在于，在通过除噪模型对所述待分类的图像进行处理之前，所述方法包括：

获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，所述背景干扰度大于所述预设值的样本图像与所述背景干扰度小于或等于所述预设值的样本图像一一对应；

根据所述背景干扰度大于所述预设值的样本图像以及所述背景干扰度小于或等于所述预设值的样本图像进行训练，得到所述除噪模型。

3.如权利要求2所述的方法，其特征在于，所述获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，包括：

从测试应用中获取所述背景干扰度大于所述预设值的样本图像和所述背景干扰度小于或等于所述预设值的样本图像。

4.如权利要求2所述的方法，其特征在于，所述获取背景干扰度大于所述预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像，包括：

从测试应用中获取所述背景干扰度小于或等于所述预设值的样本图像；

将所述背景干扰度小于或等于所述预设值的样本图像的背景进行处理，得到所述背景干扰度大于所述预设值的样本图像。

5.根据权利要求1所述的方法，其特征在于，所述对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据，包括：

通过对所述标准化的图像数据进行卷积和池化操作，实现降维处理。

6.如权利要求1所述的方法，其特征在于，所述对所述降维压缩后的图像数据进行向上采样处理，得到采样后的图像数据，包括：

采用最近邻插值法对所述降维压缩后的图像数据进行向上采样处理，得到所述采样后的图像数据。

7.如权利要求1-4中任一项所述的方法，其特征在于，所述除噪模型包括卷积自编码器模型，所述分类模型包括视觉几何组分类模型。

8.一种图像分类装置，其特征在于，所述装置包括：

处理模块，用于通过除噪模型对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像，所述除噪模型是根据背景干扰度大于预设值的样本图像以及背景干扰度小于或等于所述预设值的样本图像训练得到的，背景干扰度大于预设值的图像包含带彩色背景的图像，背景干扰度小于或等于预设值的图像包含带纯色背景的图像；

其中，所述通过除噪模型对待分类的图像进行处理，得到背景干扰度小于或等于预设值的图像，包括：

对所述待分类的图像进行标准化处理，得到标准化的图像；

对所述标准化的图像进行降维压缩处理，得到降维压缩后的图像数据；

对所述降维压缩后的图像数据进行下采样处理，得到采样后的图像数据；

对所述采样后的图像数据进行上采样处理，得到复原后的图像数据；

对所述复原后的图像数据经激活函数处理，得到所述背景干扰度小于或等于所述预设值的图像；

提取模块，用于提取所述背景干扰度小于或等于预设值的图像的图像特征；

分类模块，用于根据所述图像特征和分类模型，确定所述背景干扰度小于或等于预设值的图像的类别。

Images