CN114648646B - 一种图像分类方法及装置 - Google Patents

Abstract

本发明实施例提供了一种图像分类方法及装置，涉及图像处理技术领域，上述方法包括：对待分类的图像进行特征提取，得到表征图像属于各个分类类型的强烈程度的特征值；根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征图像的图像质量的计算结果；根据计算结果，在各个分类类型中确定图像的分类类型。应用本发明实施例提供的图像分类方案，能够实现图像分类。

Description

一种图像分类方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像分类方法及装置。

背景技术

在一些应用场景中，需要对场景中的图像进行分类，从而基于分类结果进行后续处理。例如，人脸识别场景中，可以对相机抓拍的图像进行分类，根据分类结果决定是否对相机抓拍的图像进行人脸识别，从而提高人脸识别的效率。评价图像的可观赏性的场景中，可以对待评价的图像进行分类，根据分类结果确定可观赏性较高的图像，并向用户推荐可观赏性较高的图像，从而提高用户的观赏体验。因此，需要提供一种图像分类方案，以实现图像分类。

发明内容

本发明实施例的目的在于提供一种图像分类方法及装置，以实现图像分类。具体技术方案如下：

第一方面，本发明实施例提供了一种图像分类方法，所述方法包括：

对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，其中，所述各个分类类型依据图像质量划分得到；

根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果；

根据所述计算结果，在各个分类类型中确定所述图像的分类类型。

本发明的一个实施例中，所述各个分类类型对应的权重系数根据各个分类类型所代表的图像质量确定。

本发明的一个实施例中，所述各个分类类型对应的权重系数按照以下表达式确定：

其中，所述i表示按照所代表的图像质量由低到高的顺序排列的各个分类类型的序号，所述k表示分类类型的总数量，所述表示第i个分类类型对应的权重系数。

本发明的一个实施例中，若表征所述图像属于一个分类类型的强烈程度的特征值的数量大于1，所述根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果，包括：

以每一分类类型对应的权重系数作为该分类类型对应的各个特征值的权重系数，对所有特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果。

本发明的一个实施例中，所述对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，包括：

对待分类的图像进行卷积变换，得到第一特征图；

对所述第一特征图进行下采样以及残差变换处理，得到第二特征图；

对所述第二特征图进行卷积变换，得到第三特征图；

对所述第三特征图进行池化处理，得到第四特征图；

基于所述第四特征图中每一像素点对应的预设全连接系数，对所述第四特征图进行全连接处理，得到表征所述图像属于各个分类类型的强烈程度的特征值。

本发明的一个实施例中，所述对所述第一特征图进行下采样以及残差变换处理，得到第二特征图，包括：

对所述第一特征图进行下采样处理，并对处理后的第一特征图进行残差变换处理，得到第一中间图；

对所述第一中间图进行下采样处理，得到第二中间图；

对所述第二中间图进行预设数量次残差变换处理，得到第三中间图；

对所述第三中间图进行下采样处理，并对处理后的第三中间图进行残差变换处理，得到第二特征图。

本发明的一个实施例中，在所述对提取到的各个分类类型对应的特征值进行加权计算之前，所述方法还包括：

对所得到的各个特征值进行归一化处理。

本发明的一个实施例中，所述对所得到的各个特征值进行归一化处理，包括：

按照以下表达式对各个特征值进行归一化处理：

其中，所述为归一化处理后的第p个特征值，所述为归一化处理前的第p个特征值，所述M为特征值总数量，所述为归一化处理前的第j个特征值，所述e为自然常数。

第二方面，本发明实施例还提供了一种图像分类装置，所述装置包括：

特征提取模块，用于对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，其中，所述各个分类类型依据图像质量划分得到；

加权计算模块，用于根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果；

图像分类模块，用于根据所述计算结果，在各个分类类型中确定所述图像的分类类型。

本发明的一个实施例中，所述各个分类类型对应的权重系数根据各个分类类型所代表的图像质量确定。

本发明的一个实施例中，所述各个分类类型对应的权重系数按照以下表达式确定：

其中，所述i表示按照所代表的图像质量由低到高的顺序排列的各个分类类型的序号，所述k表示分类类型的总数量，所述表示第i个分类类型对应的权重系数。

本发明的一个实施例中，若表征所述图像属于一个分类类型的强烈程度的特征值的数量大于1，所述加权计算模块，具体用于：

以每一分类类型对应的权重系数作为该分类类型对应的各个特征值的权重系数，对所有特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果。

本发明的一个实施例中，所述特征提取模块，包括：

第一处理子模块，用于对待分类的图像进行卷积变换，得到第一特征图；

第二处理子模块，用于对所述第一特征图进行下采样以及残差变换处理，得到第二特征图；

第三处理子模块，用于对所述第二特征图进行卷积变换，得到第三特征图；

第四处理子模块，用于对所述第三特征图进行池化处理，得到第四特征图；

第五处理子模块，用于基于所述第四特征图中每一像素点对应的预设全连接系数，对所述第四特征图进行全连接处理，得到表征所述图像属于各个分类类型的强烈程度的特征值。

本发明的一个实施例中，所述第二处理子模块，具体用于：

对所述第一特征图进行下采样处理，并对处理后的第一特征图进行残差变换处理，得到第一中间图；

对所述第一中间图进行下采样处理，得到第二中间图；

对所述第二中间图进行预设数量次残差变换处理，得到第三中间图；

对所述第三中间图进行下采样处理，并对处理后的第三中间图进行残差变换处理，得到第二特征图。

本发明的一个实施例中，所述装置还包括：

归一化处理模块，用于在对提取到的各个分类类型对应的特征值进行加权计算之前，对所得到的各个特征值进行归一化处理。

本发明的一个实施例中，所述归一化处理模块，具体用于：

在对提取到的各个分类类型对应的特征值进行加权计算之前，按照以下表达式对各个特征值进行归一化处理：

其中，所述为归一化处理后的第p个特征值，所述为归一化处理前的第p个特征值，所述M为特征值总数量，所述为归一化处理前的第j个特征值，所述e为自然常数。

第三方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。

本发明实施例有益效果：

由以上可见，应用本发明实施例提供的方案进行图像分类时，由于各个分类类型是依据图像质量划分得到的，因此，每一分类类型均代表图像质量的一种高低程度，例如，一个类型可以代表高图像质量，另一类型可以代表低图像质量。对待分类的图像进行特征提取得到的每一特征值对应一个分类类型，每一特征值能够表征上述图像属于其所对应的分类类型的强烈程度，可以理解为每一特征值能够反映上述图像的图像质量属于其所对应类型代表的图像质量程度的可能性，这样根据各个分类类型对应的预设权重系数，对各个特征值进行加权计算，能够准确得到表征上述图像的图像质量的计算结果，从而根据计算结果，在各个分类类型中准确确定上述图像的分类类型。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的第一种图像分类方法的流程示意图；

图2为本发明实施例提供的第二种图像分类方法的流程示意图；

图3a为本发明实施例提供的第三种图像分类方法的流程示意图；

图3b为本发明实施例提供的一种模型训练损失的曲线示意图；

图4a为本发明实施例提供的第四种图像分类方法的流程示意图；

图4b为本发明实施例提供的一种特征提取网络模型的流程示意图；

图5为本发明实施例提供的第五种图像分类方法的流程示意图；

图6为本发明实施例提供的第一种图像分类装置的结构示意图；

图7为本发明实施例提供的第二种图像分类装置的结构示意图；

图8为本发明实施例提供的第三种图像分类装置的结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本发明所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1为本发明实施例提供的第一种图像分类方法的流程示意图，上述方法包括以下步骤S101-步骤S103。

步骤S101：对待分类的图像进行特征提取，得到表征图像属于各个分类类型的强烈程度的特征值。

其中，各个分类类型依据图像质量划分得到。

例如，依据图像质量，可以划分高图像质量类型、低图像质量类型以及除这两种类型之外的其他图像质量类型三个分类类型。

另外，上述图像质量可以有多种不同表达形式，针对不同表达形式下的图像质量，可以存在不同的分类方式。

本发明的一个实施例中，上述图像质量可以以图像中的人脸质量表示，图像中的人脸越模糊，则人脸质量越低，图像中的人脸越清晰，则人脸质量越高。根据图像的人脸质量，可以划分出以下（一）-（五）五个分类类型：

（一）：非人脸的图像类型，可以认为属于该类型的图像中不存在人脸，这样在对多张图像进行人脸识别时，无需对属于这一类型的图像进行识别，从而提高人脸识别的效率；

（二）：人脸质量差的图像类型，可以认为属于该类型的图像中存在人脸，但人脸质量差，在进行人脸识别时，也无需对属于这一类型的图像进行识别；

（三）：人脸质量较差的图像类型，可以认为属于该类型的图像的人脸质量较差，属于这一类型的图像可以用于人脸识别，但人脸识别结果的置信度较低；

（四）：人脸质量较高的图像类型，可以认为属于该类型的图像的人脸质量较高，属于这一类型的图像可以用于人脸识别、人脸抓拍，但不会将属于这一类型的图像存储至数据库中；

（五）：人脸质量高的图像类型，可以认为属于该类型的图像中人脸五官清晰无遮挡，人脸质量高，可以用于人脸识别、人脸抓拍，并且可以将属于这一类型的图像存储至数据库中。

本发明的另一实施例中，上述图像质量还可以以图像的其他因素表示，从而依据该其他因素进行分类类型划分。

例如，上述其他因素可以是图像清晰度、色彩深度等。

具体的，针对一个分类类型，对待分类的图像进行特征提取，能够得到表征该图像属于该分类类型的强烈程度的特征值，该特征值越小，则说明该图像属于该分类类型的强烈程度越低，该特征值越大，则说明该图像属于该分类类型的强烈程度越高；针对多个分类类型，对该图像进行特征提取，能够得到表征该图像属于多个分类类型的强烈程度的多个特征值，每一特征值表征该图像属于其所对应的分类类型的强烈程度。

另外，针对一个分类类型，能够提取得到表征上述图像属于该分类类型的强烈程度的多个特征值，由这多个特征值共同表征上述图像属于该分类类型的强烈程度。

本发明的一个实施例中，可以通过以下两种实现方式中任一种对上述图像进行特征提取。

第一种实现方式中，可以通过后续图3a所示实施例中步骤S101A-步骤S101E提取上述图像的特征值，这里暂不详述。

第二种实现方式中，还可以通过现有的特征提取算法或者预先经过训练的特征提取网络、模型等提取上述图像的特征值。

步骤S102：根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征图像的图像质量的计算结果。

具体的，在划分得到上述各个分类类型之后，可以设置各个分类类型对应的权重系数，并在获得上述图像的特征值之后，针对每一特征值，可以将该特征值对应的分类类型对应的权重系数确定为该特征值的权重系数，从而对各个特征值进行加权计算，得到用于表征上述图像的图像质量的计算结果。

设置各个分类类型对应权重系数的实现方式可参见后续实施例，这里暂不详述。

本发明的一个实施例中，在确定各个特征值的权重系数之后，可以按照以下表达式对各个特征值进行加权计算：

其中，上述S表示加权后的计算结果，M表示特征值的总数量，表示第p个特征值，表示第p个特征值的权重系数。

步骤S103：根据计算结果，在各个分类类型中确定图像的分类类型。

具体的，在获得上述计算结果后，可以将计算结果的数值与预先设置的各个分类类型对应的数值区间进行比较，将上述图像划分至计算结果的数值所在数值区间对应的分类类型。

例如，存在三个分类类型1、2、3，分类类型1对应的数值区间为[a1,a2]，分类类型2对应的数值区间为(a2,a3]，分类类型3对应的数值区间为(a3,a4]，若上述计算结果的数值为a5，a5位于a2至a3的区间中，则可以确定上述图像的类型为分类类型2。

由以上可见，应用本发明实施例提供的方案进行图像分类时，由于各个分类类型是依据图像质量划分得到的，因此，每一分类类型均代表图像质量的一种高低程度，例如，一个类型可以代表高图像质量，另一类型可以代表低图像质量。对待分类的图像进行特征提取得到的每一特征值对应一个分类类型，每一特征值能够表征上述图像属于其所对应的分类类型的强烈程度，可以理解为每一特征值能够反映上述图像的图像质量属于其所对应类型代表的图像质量程度的可能性，这样根据各个分类类型对应的预设权重系数，对各个特征值进行加权计算，能够准确得到表征上述图像的图像质量的计算结果，从而根据计算结果，在各个分类类型中准确确定上述图像的分类类型。

下面对设置各个分类类型对应权重系数的具体实现方式进行说明。

本发明的一个实施例中，可以通过以下两种实现方式中任一种设置各个分类类型对应的权重系数。

第一种实现方式中，可以获得用户针对各个分类类型输入的权重系数，作为各个分类类型对应的权重系数。

第二种实现方式中，还可以根据各个分类类型所代表的图像质量确定各个分类类型对应的权重系数。

例如，可以基于分类类型所代表的图像质量越高，该分类类型对应的权重系数越高的原则设置权重系数。还可以基于分类类型所代表的图像质量越低，该分类类型对应的权重系数越高的原则设置权重系数。

由于各个分类类型是依据图像质量划分得到的，因此，根据各个分类类型所代表的图像质量确定各个分类类型对应的权重系数，能够准确确定出与各个分类类型相符的权重系数，从而在对各个特征值进行加权计算时，准确计算出表征上述图像的图像质量的计算结果，基于计算结果，能够在各个分类类型中准确确定上述图像的分类类型。

本发明的一个实施例中，基于分类类型所代表的图像质量越高，该分类类型对应的权重系数越高的原则，可以按照以下表达式确定各个分类类型对应的权重系数：

其中，i表示按照所代表的图像质量由低到高的顺序排列的各个分类类型的序号，k表示分类类型的总数量，表示第i个分类类型对应的权重系数。

从上述表达式中可以看出，i越大，说明分类类型的排序越靠后，所代表的图像质量越高，分类类型对应的权重系数越大。

由以上可见，应用本发明实施例提供的方案进行图像分类时，通过上述表达式，能够准确确定各个分类类型对应的权重系数，从而根据各个分类类型对应的权重系数，对各个特征值进行加权计算，能够准确得到计算结果，进而能够准确确定上述图像的分类类型。

在表征图像属于一个分类类型的强烈程度的特征值的数量大于1的情况下，对各个特征值进行加权计算可以通过以下图2所示实施例中步骤S102A实现。

本发明的一个实施例中，参见图2，提供了第二种图像分类方法的流程示意图，本实施例中，上述步骤S102可以通过以下步骤S102A实现。

步骤S102A：以每一分类类型对应的权重系数作为该分类类型对应的各个特征值的权重系数，对所有特征值进行加权计算，得到用于表征图像的图像质量的计算结果。

具体的，可以确定各个特征值的权重系数，在确定各个特征值的权重系数后，再对所有特征值进行加权计算，得到上述计算结果。

下面以举例的方式对确定各个特征值的权重系数进行说明。

例如，若存在分类类型4以及分类类型5，分类类型4对应的权重系数为，分类类型5对应的权重系数为，对上述图像进行特征提取后，得到表征上述图像属于分类类型4的强烈程度的三个特征值、、，表征上述图像属于分类类型5的强烈程度的两个特征值、，则上述特征值、、的权重系数均为，上述特征值、的权重系数均为。

本方案中，利用多个特征值，能够更准确的表征上述图像属于其所对应的分类类型的强烈程度，从而对所有特征值进行加权计算，能够提高所获得的计算结果的准确性，进而基于计算结果，能够在各个分类类型中准确确定上述图像的分类类型。

在对上述图像进行特征提取时，除了采用前述图1所示实施例中步骤S101提供的方式外，还可以通过以下图3a所示实施例中步骤S101A-步骤S101E对上述图像进行特征提取。

本发明的一个实施例中，参见图3a，提供了第三种图像分类方法的流程示意图，本实施例中，上述步骤S101可以通过以下步骤S101A-步骤S101E实现。

步骤S101A：对待分类的图像进行卷积变换，得到第一特征图。

对待分类的图像进行卷积变换可以通过现有的卷积变换技术实现，例如，可以利用预先获得的卷积核，对上述图像进行卷积计算，从而得到计算后的第一特征图，还可以通过训练完成的卷积神经网络对上述图像进行卷积变换，得到网络输出的第一特征图。

步骤S101B：对第一特征图进行下采样以及残差变换处理，得到第二特征图。

具体的，可以预先设置对第一特征图进行下采样处理和残差变换处理的处理顺序以及这两种处理方式的处理次数，这样在获得上述第一特征图后，按照预先设定的处理流程，对第一特征图进行处理。

对第一特征图进行下采样处理可以通过现有的下采样技术实现，对第一特征图进行残差变换处理可以通过现有的残差变换技术实现，这里不再详述。

本发明的一个实施例中，可以通过后续图4a所示实施例中步骤S101B1-步骤S101B4实现对第一特征图进行下采样以及残差变换处理，这里暂不详述。

本发明的另一实施例中，下采样处理和残差变换处理的次数可以相同，并且可以交替对第一特征图进行下采样处理和残差变换处理，从而获得处理后的第二特征图。

另外，还可以预设上述下采样处理和残差变换处理的其他处理顺序，从而实现对上述第一特征图进行下采样以及残差变换处理，本发明实施例对此并不限定。

步骤S101C：对第二特征图进行卷积变换，得到第三特征图。

本步骤与上述步骤S101A相类似，这里不再详述。

步骤S101D：对第三特征图进行池化处理，得到第四特征图。

对第三特征图进行池化处理可以通过现有的池化处理技术实现，例如现有的平均池化处理技术、最大池化处理技术等。

步骤S101E：基于第四特征图中每一像素点对应的预设全连接系数，对第四特征图进行全连接处理，得到表征图像属于各个分类类型的强烈程度的特征值。

其中，上述全连接系数可以是人为设定的，也可以是根据预先训练好的特征提取网络中全连接层包括的参数确定的。

基于上述全连接系数，对第四特征图进行全连接处理可以通过现有的全连接处理技术实现，这里不再详述。

由以上可见，应用本发明实施例提供的方案进行图像分类时，对待分类的图像进行卷积变换、下采样、残差变换处理、卷积变换、池化处理以及全连接处理等多种处理，由于对图像进行卷积变换能够提取图像的特征，对图像的特征图进行全连接处理能够整合图像所有的特征，输出对整个图像具有表征性的特征值，另外，在对第四特征图进行全连接处理时，是基于预设的全连接系数对第四特征图进行全连接处理，这样能够准确提取表征图像属于各个分类类型的强烈程度的特征值，从而能够提高图像分类的准确性。

本发明的一个实施例中，上述图3a所示实施例中步骤S101A-步骤S101E可以通过神经网络模型实现，该神经网络模型中，可以包括卷积层、下采样层、残差变换层、池化层、全连接层，将上述图像输入该神经网络模型后，可以获得由该神经网络模型输出的特征值。并且，在设计该神经网络模型时，可以根据实际应用需求，预设模型的输出中每一分类类型对应的特征值的数量，以使得神经网络模型能够适应多种应用场景。

例如，若上述分类类型的数量为k，可以预设模型输出中每一分类类型对应的特征值的数量为g，这样模型输出的特征值的数量M=k*g。

另外，在该神经网络模型的全连接层后，还可以添加用于加权计算的计算层，从而可以直接通过该神经网络模型，得到表征上述图像的图像质量的模型输出，作为上述计算结果。

在应用上述神经网络模型获得表征上述图像的图像质量的模型输出之前，可以以样本图像作为模型输入，以表征样本图像的图像质量的质量值作为样本标注信息，对上述神经网络模型进行训练。

在神经网络模型训练过程中，根据神经网络模型的模型输出以及样本图像的样本标注信息，可以计算模型的训练损失，从而根据该训练损失，调整神经网络模型的模型参数。

本发明的一个实施例中，可以按照MSE（Mean Squared Error，均方误差）Loss损失函数，计算模型的训练损失。

另外，在神经网络模型训练过程中，还可以将样本数据集划分为训练数据集以及测试数据集，训练数据集用于训练模型，测试数据集用于对训练后的模型进行测试。

参见图3b，图3b为一种模型训练损失的曲线示意图，图3b中，横坐标为模型训练次数，纵坐标为模型损失值，图中上方的曲线为测试数据集的训练损失曲线，下方的曲线为训练数据集的训练损失曲线，从图3b中可以看出，在训练次数较少时，模型训练损失下降较快，然后随着训练次数增多，逐渐趋于稳定，并且这两条曲线几乎重合，说明经训练损失调整后的模型的泛化性较强。

在对第一特征图进行下采样以及残差变换处理时，除了可以采用前述图3a所示实施例的步骤S101B中提及的方式之外，还可以通过以下图4a所示实施例中步骤S101B1-步骤S101B4实现对第一特征图进行下采样以及残差变换处理。

本发明的一个实施例中，参见图4a，提供了第四种图像分类方法的流程示意图，本实施例中，上述步骤S101B可以通过以下步骤S101B1-步骤S101B4实现。

步骤S101B1：对第一特征图进行下采样处理，并对处理后的第一特征图进行残差变换处理，得到第一中间图。

对第一特征图进行下采样处理可以通过现有的下采样技术实现，对处理后的第一特征图进行残差变换处理可以通过现有的残差变换技术实现，这里不再详述。

步骤S101B2：对第一中间图进行下采样处理，得到第二中间图。

本步骤与上述步骤S101B1中对第一特征图进行下采样处理的方式相类似，这里不再详述。

步骤S101B3：对第二中间图进行预设数量次残差变换处理，得到第三中间图。

上述预设数量可以是2、3或者其他人为设置的数量。

上述残差变换处理可以通过现有的残差变换技术实现，这里不再详述。

步骤S101B4：对第三中间图进行下采样处理，并对处理后的第三中间图进行残差变换处理，得到第二特征图。

本步骤与上述步骤S101B1相类似，这里不再详述。

由以上可见，应用本发明实施例提供的方案进行图像分类时，在获得上述第一特征图之后，依次对第一特征图进行下采样、残差变换、下采样、预设数量次残差变换、下采样以及残差变换处理，从而能够准确获得第二特征图，进而基于第二特征图，能够准确获得表征上述图像属于各个分类类型的强烈程度的特征值，提高图像分类的准确性。

本发明的一个实施例中，参见图4b，提供了一种特征提取网络模型的结构示意图，图4b所示特征提取网络模型中，Conv+bn为具有数据批量标准化功能的卷积层，DownSample Block为下采样层，Inverted residual block为残差变换层，Avg_pool为平均池化层，Linear为全连接层。应用图4b所示特征提取网络模型，可以实现上述图4a所示实施例中步骤S101A、步骤S101B1-步骤S101B4、步骤S101C-步骤S101E。

上述表征图像属于各个分类类型的强烈程度的特征值的数据量通常较大，从而在对各个特征值进行权重计算时，计算效率较低。

为解决这一问题，本发明的一个实施例中，参见图5，提供了第五种图像分类方法的流程示意图，本实施例中，在对各个特征值进行加权计算之前，上述方法还包括以下步骤S104。

步骤S104：对所得到的各个特征值进行归一化处理。

具体的，在得到上述图像的多个特征值之后，可以应用现有的归一化处理技术，对各个特征值进行归一化处理，这里不再详述。

本方案中，对特征值进行归一化处理能够减小特征值的数据量，从而提高后续加权计算的计算效率，进而提高图像分类的分类效率，并且，对各个特征值进行归一化处理能够减小特征值中极端值对分类效果的影响，从而能够提高分类的准确性。

本发明的一个实施例中，可以按照以下表达式对各个特征值进行归一化处理：

其中，为归一化处理后的第p个特征值，为归一化处理前的第p个特征值，M为特征值总数量，为归一化处理前的第j个特征值，e为自然常数。

通过上述表达式，能够将各个特征值的数据准确映射至0-1之间，从而减小各个特征值的数据量，提高后续加权计算的计算效率，进而提高图像分类的分类效率。

与上述图像分类方法相对应，本发明实施例还提供了一种图像分类装置。

本发明的一个实施例中，参见图6，提供了第一种图像分类装置的结构示意图，所述装置包括：

特征提取模块601，用于对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，其中，所述各个分类类型依据图像质量划分得到；

加权计算模块602，用于根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果；

图像分类模块603，用于根据所述计算结果，在各个分类类型中确定所述图像的分类类型。

本发明的一个实施例中，所述各个分类类型对应的权重系数根据各个分类类型所代表的图像质量确定。

本发明的一个实施例中，所述各个分类类型对应的权重系数按照以下表达式确定：

其中，所述i表示按照所代表的图像质量由低到高的顺序排列的各个分类类型的序号，所述k表示分类类型的总数量，所述表示第i个分类类型对应的权重系数。

本发明的一个实施例中，若表征所述图像属于一个分类类型的强烈程度的特征值的数量大于1，所述加权计算模块602，具体用于：

以每一分类类型对应的权重系数作为该分类类型对应的各个特征值的权重系数，对所有特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果。

本发明的一个实施例中，参见图7，提供了第二种图像分类装置的结构示意图，本实施例中，所述特征提取模块601，包括：

第一处理子模块601A，用于对待分类的图像进行卷积变换，得到第一特征图；

第二处理子模块601B，用于对所述第一特征图进行下采样以及残差变换处理，得到第二特征图；

第三处理子模块601C，用于对所述第二特征图进行卷积变换，得到第三特征图；

第四处理子模块601D，用于对所述第三特征图进行池化处理，得到第四特征图；

第五处理子模块601E，用于基于所述第四特征图中每一像素点对应的预设全连接系数，对所述第四特征图进行全连接处理，得到表征所述图像属于各个分类类型的强烈程度的特征值。

本发明的一个实施例中，所述第二处理子模块601B，具体用于：

对所述第一特征图进行下采样处理，并对处理后的第一特征图进行残差变换处理，得到第一中间图；

对所述第一中间图进行下采样处理，得到第二中间图；

对所述第二中间图进行预设数量次残差变换处理，得到第三中间图；

对所述第三中间图进行下采样处理，并对处理后的第三中间图进行残差变换处理，得到第二特征图。

本发明的一个实施例中，参见图8，提供了第三种图像分类装置的结构示意图，本实施例中，所述装置还包括：

归一化处理模块604，用于在对提取到的各个分类类型对应的特征值进行加权计算之前，对所得到的各个特征值进行归一化处理。

本发明的一个实施例中，所述归一化处理模块604，具体用于：

在对提取到的各个分类类型对应的特征值进行加权计算之前，按照以下表达式对各个特征值进行归一化处理：

其中，所述为归一化处理后的第p个特征值，所述为归一化处理前的第p个特征值，所述M为特征值总数量，所述为归一化处理前的第j个特征值，所述e为自然常数。

本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信，

存储器903，用于存放计算机程序；

处理器901，用于执行存储器903上所存放的程序时，实现如下步骤：

对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，其中，所述各个分类类型依据图像质量划分得到；

根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果；

根据所述计算结果，在各个分类类型中确定所述图像的分类类型。

上述处理器901执行存储器903所存放的程序而实现图像分类的其他方案，与前述方法实施例中提及的方案相同，这里不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像分类方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像分类方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种图像分类方法，其特征在于，所述方法包括：

对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，其中，所述各个分类类型依据图像质量划分得到，每一分类类型均代表图像质量的一种高低程度，每一特征值反映所述图像的图像质量属于其所对应的分类类型代表的图像质量程度的可能性；

根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果，其中，所述各个分类类型对应的预设权重系数为用户针对各个分类类型输入的，或者是根据各个分类类型所代表的图像质量确定的；

根据所述计算结果，在各个分类类型中确定所述图像的分类类型；

所述根据所述计算结果，在各个分类类型中确定所述图像的分类类型，包括：

将所述计算结果的数值与预先设置的各个分类类型对应的数值区间进行比较，将所述图像划分至所述计算结果的数值所在数值区间对应的分类类型；

所述对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，包括：

对待分类的图像进行卷积变换，得到第一特征图；

对所述第一特征图进行下采样以及残差变换处理，得到第二特征图；

对所述第二特征图进行卷积变换，得到第三特征图；

对所述第三特征图进行池化处理，得到第四特征图；

基于所述第四特征图中每一像素点对应的预设全连接系数，对所述第四特征图进行全连接处理，得到表征所述图像属于各个分类类型的强烈程度的特征值，所述全连接系数为人为设定的或者根据预先训练好的特征提取网络中全连接层包括的参数确定的；

所述对所述第一特征图进行下采样以及残差变换处理，得到第二特征图，包括：

对所述第一特征图进行下采样处理，并对处理后的第一特征图进行残差变换处理，得到第一中间图；

对所述第一中间图进行下采样处理，得到第二中间图；

对所述第二中间图进行预设数量次残差变换处理，得到第三中间图；

对所述第三中间图进行下采样处理，并对处理后的第三中间图进行残差变换处理，得到第二特征图。

2.根据权利要求1所述的方法，其特征在于，所述各个分类类型对应的权重系数按照以下表达式确定：

其中，所述i表示按照所代表的图像质量由低到高的顺序排列的各个分类类型的序号，所述k表示分类类型的总数量，所述表示第i个分类类型对应的权重系数。

3.根据权利要求1或2所述的方法，其特征在于，若表征所述图像属于一个分类类型的强烈程度的特征值的数量大于1，所述根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果，包括：

以每一分类类型对应的权重系数作为该分类类型对应的各个特征值的权重系数，对所有特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果。

4.根据权利要求1或2所述的方法，其特征在于，在所述对提取到的各个分类类型对应的特征值进行加权计算之前，所述方法还包括：

对所得到的各个特征值进行归一化处理。

5.根据权利要求4所述的方法，其特征在于，所述对所得到的各个特征值进行归一化处理，包括：

按照以下表达式对各个特征值进行归一化处理：

其中，所述为归一化处理后的第p个特征值，所述为归一化处理前的第p个特征值，所述M为特征值总数量，所述为归一化处理前的第j个特征值，所述e为自然常数。

6.一种图像分类装置，其特征在于，所述装置包括：

特征提取模块，用于对待分类的图像进行特征提取，得到表征所述图像属于各个分类类型的强烈程度的特征值，其中，所述各个分类类型依据图像质量划分得到，每一分类类型均代表图像质量的一种高低程度，每一特征值反映所述图像的图像质量属于其所对应的分类类型代表的图像质量程度的可能性；

加权计算模块，用于根据各个分类类型对应的预设权重系数，对提取到的各个分类类型对应的特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果，其中，所述各个分类类型对应的预设权重系数为用户针对各个分类类型输入的，或者是根据各个分类类型所代表的图像质量确定的；

图像分类模块，用于根据所述计算结果，在各个分类类型中确定所述图像的分类类型；

所述图像分类模块，具体用于将所述计算结果的数值与预先设置的各个分类类型对应的数值区间进行比较，将所述图像划分至所述计算结果的数值所在数值区间对应的分类类型；

所述特征提取模块，包括：

第一处理子模块，用于对待分类的图像进行卷积变换，得到第一特征图；

第二处理子模块，用于对所述第一特征图进行下采样以及残差变换处理，得到第二特征图；

第三处理子模块，用于对所述第二特征图进行卷积变换，得到第三特征图；

第四处理子模块，用于对所述第三特征图进行池化处理，得到第四特征图；

第五处理子模块，用于基于所述第四特征图中每一像素点对应的预设全连接系数，对所述第四特征图进行全连接处理，得到表征所述图像属于各个分类类型的强烈程度的特征值，所述全连接系数为人为设定的或者根据预先训练好的特征提取网络中全连接层包括的参数确定的；

所述第二处理子模块，具体用于：

对所述第一特征图进行下采样处理，并对处理后的第一特征图进行残差变换处理，得到第一中间图；

对所述第一中间图进行下采样处理，得到第二中间图；

对所述第二中间图进行预设数量次残差变换处理，得到第三中间图；

对所述第三中间图进行下采样处理，并对处理后的第三中间图进行残差变换处理，得到第二特征图。

7.根据权利要求6所述的装置，其特征在于，所述各个分类类型对应的权重系数按照以下表达式确定：

其中，所述i表示按照所代表的图像质量由低到高的顺序排列的各个分类类型的序号，所述k表示分类类型的总数量，所述表示第i个分类类型对应的权重系数。

8.根据权利要求6或7所述的装置，其特征在于，若表征所述图像属于一个分类类型的强烈程度的特征值的数量大于1，所述加权计算模块，具体用于：

以每一分类类型对应的权重系数作为该分类类型对应的各个特征值的权重系数，对所有特征值进行加权计算，得到用于表征所述图像的图像质量的计算结果。

9.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

归一化处理模块，用于在对提取到的各个分类类型对应的特征值进行加权计算之前，对所得到的各个特征值进行归一化处理。

10.根据权利要求9所述的装置，其特征在于，所述归一化处理模块，具体用于：

在对提取到的各个分类类型对应的特征值进行加权计算之前，按照以下表达式对各个特征值进行归一化处理：

其中，所述为归一化处理后的第p个特征值，所述为归一化处理前的第p个特征值，所述M为特征值总数量，所述为归一化处理前的第j个特征值，所述e为自然常数。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。

Images