CN111368911A - 一种图像分类方法、装置和计算机可读存储介质 - Google Patents

一种图像分类方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111368911A
CN111368911A CN202010139675.XA CN202010139675A CN111368911A CN 111368911 A CN111368911 A CN 111368911A CN 202010139675 A CN202010139675 A CN 202010139675A CN 111368911 A CN111368911 A CN 111368911A
Authority
CN
China
Prior art keywords
feature
region
characteristic
image
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010139675.XA
Other languages
English (en)
Other versions
CN111368911B (zh
Inventor
李嘉麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010139675.XA priority Critical patent/CN111368911B/zh
Publication of CN111368911A publication Critical patent/CN111368911A/zh
Application granted granted Critical
Publication of CN111368911B publication Critical patent/CN111368911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像分类方法、装置和计算机可读存储介质；本发明实施例在获取至少一张图像样本后，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类；可以提高图像分类模型对图像分类的准确率。

Description

一种图像分类方法、装置和计算机可读存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种图像分类方法、装置和计算机可读存储介质。
背景技术
近年来，随着神经网络技术在人工智能领域的大热，将神经网络应用于图像分类方面也有了长足的发展。为了提升神经网络对图像分类的准确性，就需要在图像分类模型训练过程中提升网络性能，而网络正则化是提升网络性能的重要算法，现有的以dropout(一种网络正则化算法)为代表的网络正则化方法被广泛应用在各个图像分类任务中。
在对现有技术的研究和实践过程中，本发明的发明人发现现有网络正则化方法直接在输入层和特征图的特征图中随机选择不参与本轮训练的元素，而每个特征图中的元素对于特征图的重要性是不一样的，因此，会大大影响图像分类模型对图像分类的准确性。
发明内容
本发明实施例提供一种图像分类方法、装置和计算机可读存储介质。可以提高图像分类的准确性。
一种图像分类方法，包括：
获取至少一张图像样本；
采用预设图像分类模型对所述图像样本进行特征提取，得到图像样本对应的特征图；
根据所述特征图的尺寸，在所述特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，所述抽样概率为特征区域被选中参加训练的概率；
根据所述抽样概率，在所述特征图抽样出参加训练的目标特征区域；
基于所述目标特征区域，对所述预设图像分类模型进行训练，得到训练后图像分类模型，以根据所述训练后图像分类模型对待分类图像进行分类。
相应的，本发明实施例提供一种图像分类装置，包括：
获取单元，用于获取至少一张图像样本；
提取单元，用于采用预设图像分类模型对所述图像样本进行特征提取，得到图像样本对应的特征图；
区域划分单元，用于根据所述特征图的尺寸，在所述特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，所述抽样概率为特征区域被选中参加训练的概率；
抽样单元，用于根据所述抽样概率，在所述特征图抽样出参加训练的目标特征区域；
分类单元，用于基于所述目标特征区域，对所述预设图像分类模型进行训练，得到训练后图像分类模型，以根据所述训练后图像分类模型对待分类图像进行分类。
可选的，在一些实施例中，所述区域划分单元，具体可以用于根据所述特征图的尺寸，确定需要划分的区域数量；在所述特征图上划分出所述区域数量对应的特征区域；根据所述特征区域的特征值，计算每一特征区域的抽样概率。
可选的，在一些实施例中，所述区域划分单元，用于识别所述特征图中的特征数量；基于所述区域数量和特征数量，在所述特征图上划分出所述区域数量对应的特征区域，所述特征区域中的特征数量超过预设数量阈值。
可选的，在一些实施例中，所述区域划分单元，具体可以用于获取所述特征区域中特征的特征值；将所述特征的特征值进行累加，得到所述特征区域的特征值；基于所述特征区域的特征值，计算所述特征区域的抽样概率。
可选的，在一些实施例中，所述区域划分单元，具体可以用于将所述特征区域的特征值进行累加，得到所述特征图的特征值；基于所述特征区域的特征值和特征图的特征值，计算所述特征区域在所述特征图中的区域敏感概率，将所述区域敏感概率作为所述特征区域的抽样概率，所述区域敏感概率为指示所述特征区域在特征图中的重要程度。
可选的，在一些实施例中，所述抽样单元，具体可以用于在所述特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量；在所述特征图中筛选出所述特征区域数量对应的候选特征区域；根据所述抽样概率，在所述候选特征区域中抽样出所述目标特征区域数量对应的目标特征区域。
可选的，在一些实施例中，所述抽样单元，具体可以用于根据所述抽样概率，对所述候选特征区域进行分类；基于分类结果，确定所述候选特征区域的加权系数；根据所述加权系数，对所述候选特征区域的抽样概率进行加权；基于加权后抽样概率，在所述候选特征区域中抽样出所述目标特征区域数量对应的目标特征区域。
可选的，在一些实施例中，所述分类单元，具体可以用于根据所述目标特征区域，对所述特征图进行剪枝，得到剪枝后特征图；基于所述剪枝后特征图和图像样本，对所述预设图像分类模型进行训练，得到训练后图像分类模型；根据所述训练后图像分类模型对待分类图像进行分类。
可选的，在一些实施例中，所述分类单元，具体可以用于在所述特征图中筛选出目标特征区域以外的其他特征区域；对所述其他特征区域的特征值清零，得到清零后特征图；对所述清零后特征图进行补偿，得到剪枝后特征图。
可选的，在一些实施例中，所述分类单元，具体可以用于根据所述剪枝后特征图，对所述图像样本进行分类预测，得到所述图像样本的预测类型；根据所述预测类型和已标注图像类型对所述预设图像分类模型进行收敛，得到训练后图像分类模型。
可选的，在一些实施例中，所述分类单元，具体可以用于获取待分类图像；采用所述训练后图像分类模型对所述待分类图像进行特征提取，得到所述待分类图像对应的特征图；对所述特征图进行特征处理，得到所述待分类图像的分类结果。
此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像分类方法。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像分类方法中的步骤。
本发明实施例在获取至少一张图像样本后，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类；由于该方案在特征图中选择特征区域进行训练，而不是单个位置的像素，而且，对于特征区域的选择，采用抽样概率，充分考虑了每个特征区域在特征图中的重要程度来计算抽样概率，因此，可以大大提高图像分类模型对图像分类的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像分类方法的场景示意图；
图2是本发明实施例提供的图像分类方法的流程示意图；
图3是本发明实施例提供的区域划分后的特征区域的示意图；
图4是本发明实施例提供的掩码图的示意图；
图5是本发明实施例提供的图像分类方法的另一流程图；
图6是本发明实施例提供的图像分类装置的结构示意图；
图7是本发明实施例提供的图像分类装置的区域划分单元的结构示意图；
图8是本发明实施例提供的图像分类装置的抽样单元的结构示意图；
图9是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像分类方法、装置和计算机可读存储介质。其中，该图像分类装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
例如，参见图1，以图像分类装置集成在电子设备中为例，电子设备获取至少一张图像样本后，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，然后，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，然后，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类，得到待分类图像的分类结果。
以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像分类装置的角度进行描述，该图像分类装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算(PC，Personal Computer)等设备。
一种图像分类方法，包括：
获取至少一张图像样本，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类。
如图2所示，该图像分类方法的具体流程如下：
101、获取至少一张图像样本。
其中，图像样本为标注出图像类型的图像，比如，对一个狗的图像标注为动物类型或者狗类图像，将标注动物类型或者狗类图像作为图像样本。
例如，可以直接从训练样本集合获取至少一张图像样本，比如，在训练样本集合中筛选出一张或者多张图像样本。至于筛选规则，可以在训练样本集合中筛选同一类型的一张或多张图像样本，还可以在训练样本集合的不同类型的图像样本集合中筛选出一张或多张图像样本。还可以从网络或数据库中筛选出一张或多张图像，将图像发送至标注终端，并接收标注终端对该图像的标注，将标注后图像作为图像样本。
102、采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图。
例如，采用预设图像分类模型的特征提取网络层对图像样本进行特征提取，比如，可以采用残差网络对图像样本进行特征提取，譬如，采用ResNet_152(一种残差网络)的特征提取网络层对图像样本进行特征提取，对图像样本进行特征提取，得到图像样本对应的特征集合，对特征集合进行转换，转换为尺寸为mi×ni×di的张量(tensor)，其中di为张量的通道深度，这个张量中包含di个mi×ni矩阵，将每一个mi×ni矩阵都看作为一张特征图，因此，可以得到图像样本对应的一张或多张特征图。
其中，张量可以看作一个多维数组，且支持高效的科学计算。它可以是一个数(标量)、一维数组(向量)、二维数组(矩阵)和更高维的数组(高阶数据)。
103、根据特征图的尺寸，在特征图上进行区域划分，把计算划分得到的每一个特征区域的抽样概率。
其中，抽样概率可以为特征区域被选中参加训练的概率。
例如，可以根据特征图的尺寸，确定需要划分的区域数量，在特征图上划分出区域数量对应的特征区域，根据特征区域的特征值，计算每一特征区域的抽样概率。具体可以如下：
S1、根据特征图的尺寸，确定需要划分的区域数量。
例如，根据特征图对应mi×ni矩阵，获取特征图的尺寸，根据特征图的尺寸，确定需要划分的区域数量，比如，可以根据特征图的尺寸，确定特征图对应的尺寸等级，在预设区域数量集合中筛选出尺寸等级对应的区域数量，譬如，当特征图的尺寸未超过第一尺寸阈值时，确定特征图的尺寸为第一等级尺寸，在区域数量集合中筛选出第一等级尺寸对应的区域数量，当特征图的尺寸超过第一尺寸阈值，但未超过第二尺寸阈值时，确定特征图的尺寸为第二等级尺寸，在区域数量集合中筛选出第二等级尺寸对应的区域数量，依次类推，尺寸等级可以根据实际情况来进行设定。一般划分的区域数量至少为16，但是区域数量也不能太多。
S2、在特征图上划分出区域数量对应的特征区域。
例如，识别出特征图中的特征数量，比如，当特征图的尺寸为mi×ni，则特征图中的特征数量可以为(mi×ni)个。基于区域数量和特征数量，在特征图上划分出区域数量对应的特征区域，比如，当特征均匀分布在特征图时，可以根据区域数量，对特征图进行区域划分，使得划分的每一特征区域的区域面积都相同，如图3所示，划分出的每一特征区域中的特征数量还需要超过预设数量阈值，比如，一般来说预设数量阈值可以为36，当每一特征区域中的特征数量超过36时，可以保证训练效果。当特征并不均匀分布在特征图时，对特征图进行区域划分时，就需要考虑每个区域的特征数量需要超过预设数量阈值，因此，可以将特征密度大的区域划分的面积小一点，将特征密度小的区域划分的面积大一些，如果部分区域的特征密度不够的情况下，也可以考虑通过重合部分区域，使得特征区域中的特征数量满足要求。
其中，划分的特征区域的形状可以为任意形状，特征区域可以是独立的，也可以与其他特征区域产生重合的区域。
S3、根据特征区域的特征值，计算每一特征区域的抽样概率。
例如，获取特征区域中特征的特征值，比如，直接获取mi×ni矩阵划分的特征区域中特征的特征值，将这些特征的特征值的绝对值进行累加，就可以得到这个特征区域的特征值。将每个特征区域的特征值再次进行累加，就可以得到特征图的特征值，还可以将这些特征的特征值的绝对值的平方进行累加作为特征图的特征值。根据特征区域的特征值和特征图的特征值，计算特征区域在特征图中的区域敏感概率，比如，计算特征区域在特征图中的区域敏感概率可以通过如下公式：
Figure BDA0002398627200000081
其中，Rj为特征图中特征区域的身份标识，f(Rj)为Rj种所有特征的特征值的绝对值之和，或者绝对值平方的和，也就是Rj特征区域的特征值。因为，区域概率也可以理解为特征区域在特征图中的重要程度，特征区域的区域敏感度越高，说明该特征区域在特征图中越重要。
可选的，特征区域在特征图中的区域敏感概率，还可以采用其他的计算方法，比如，还可以根据特征区域的位置，获取该位置对应的加权系数，通过加权系数对特征区域的特征值进行加权，将加权后的特征区域的特征值采用上述公式来计算该特征区域的区域敏感概率。
将计算出的特征区域的区域敏感概率作为特征区域的抽样概率。
104、根据抽样概率，在特征图抽样出参加训练的目标特征区域。
例如，在特征图中确定参加抽样的特征区域数量和参加训练的特征区域数量，在特征图中筛选出特征区域数量对应的候选特征区域，根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。具体可以如下：
(1)在特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量。
其中，特征区域数量可以为抽样出参加训练的目标特征区域的样本数量，比如，特征图中包含32个特征区域，参加训练的目标特征区域为16，则可以在全部的32个特征区域中抽样出16个目标特征区域，也可以再32个特征区域筛选出24个区域敏感概率超过预设阈值的特征区域作为抽样样本，在这个24个特征区域中抽样出参加训练的目标特征区域。
所谓目标特征区域，可以为一个特征图中被选择参加训练的特征区域。
例如，根据特征图的尺寸和划分的区域数量，可以确定参加抽样的特征区域数量和参加训练的目标特征区域数量，比如，特征图的尺寸较大，划分的区域为54个，由于划分区域较多，可以在这54个特征区域中随机选择部分区域作为候选特征区域，还可以筛选出区域敏感概率超过预设阈值的特征区域作为候选特征区域，又比如，特征图的尺寸较小，一共就划分了16个特征区域，此时，我们可以将这16分特征区域都作为参加抽样的候选特征区域，因此，可以将筛选出候选特征区域的数量作为参加抽样的特征区域数量。可以根据划分的区域数量确定参加训练的目标特征区域数量，比如，可以对区域数量进行等级划分，每个等级对应一个参加训练的目标特征区域数量，譬如，以划分三个等级为例，第一等级对应的目标特征区域数量为候选特征区域数量的1/2，第二等级对应的目标特征区域数量为候选特征区域数量的1/3，第三等级对应的目标特征区域数量为候选特征区域数量的1/5。
(2)在特征图中筛选出特征区域数量对应的候选特征区域。
例如，根据确定的特征区域数量，在特征图中筛选出候选特征区域，比如，候选特征区域数量为24个，特征图一共被划分为32个特征区域，可以直接在32个特征区域中随机筛选出24个候选特征区域。还可以根据特征区域的位置，在特征区域中筛选出候选特征区域，比如，可以将整个特征图的特征区域划分为头部特征区域、中间特征区域和尾部特征区域，根据特征区域的位置，分别在头部特征区域、中间特征区域和尾部特征区域分别筛选出候选特征区域。还可以根据特征区域的特征值的大小，来筛选出候选特征区域，比如，根据特征区域的特征值，对特征区域进行分段或分类，在每一个分段区间中筛选出部分特征区域作为候选特征区域。
(3)根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。
例如，根据抽样概率，对候选特征区域进行分类，比如，可以将特征区域的抽样概率值进行分类，可以分为重要特征区域、比较重要特征区域和普通特征区域。根据分类结果，确定候选特征区域的加权系数，比如，当候选特征区域为重要特征区域时，则确定该特征区域的加权系数为重要特征区域对应的加权系数，当候选特征区域为比较重要特征区域时，则确定该特征区域的加权系数为比较重要特征区域对应的加权系数，当候选特征区域为普通特征区域时，则确定该特征区域的加权系数为普通特征区域对应的加权系数，其中重要特征区域的加权系数大于比较重要特征区域大于普通特征区域。根据加权系数，分别对候选特征区域的抽样概率进行加权，得到加权后抽样概率。基于加权后抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。比如，根据加权后抽样概率，对特征区域再次进行细化分类，譬如，将重要特征区域可以分为多个等级的重要特征区域，以三级为例，第一重要特征区域、第二重要特征区域和第三重要特征区域分别对应的不同的加权后抽样概率区间。然后，根据每个等级的特征区域的特征区域数量，确定每个类型的每个等级的特征区域集合中需要抽样的目标特征区域的数量，比如，需要抽样出16个目标特征区域，当第一重要特征区域共有5个特征区域，可以确定在这个等级的特征区域需要抽样出3目标特征区域，然后，随机在这个5个特征区域中有放回或者无放回的抽样出3个目标特征区域。当第二重要特征区域共有6个特征区域，可以确定在这个等级特征区域需要抽样出2个目标特征区域，然后，随机在这个6个特征区域中有放回或者无放回的抽样出2个目标特征区域。依次类推，在每个等级的特征区域中抽样出对应数量的目标特征区域，最后，得到整个特征图中需要抽样出的目标特征区域数量对应的目标特征区域。
其中，当抽样过程为又放回的抽样时，如果存在抽到同一个特征区域多次的情况时，可以继续再抽样，直到抽样到预设数量的不同特征区域。
其中，在抽样过程中，要遵循一个原则，加权后抽样概率最高的那一等级的特征区域中抽样出的目标特征区域的比例应该最大。这样安排主要也是为了尽可能保证在训练过程中能够更多的考虑这些相关重要的特征区域。但是也不是完全不考虑相对不重要的特征区域，因此，在抽样时，需要将那些特征值较小的特征区域单独分类，并保证在这些特征值相对较小的特征区域中一定要抽样出部分特征区域作为目标特征区域，只是特征值相对较小的特征区域抽样出的目标特征区域在整个特征图的目标特征区域中所占的比例不是很高。
105、基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类。
例如，可以根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图，基于剪枝后特征图和图像样本，对预设分类模型进行训练，得到训练后图像分类模型，然后，根据训练后图像分类模型对待分类图像进行分类，得到待分类图像的分类结果。具体可以如下：
C1、基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型。
例如，可以根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图，根据剪枝后特征图，对图像样本进行分类预测，得到图像样本的预测类型，根据预测类型你和已标注图像类型对预设图像分类模型进行收敛，得到训练后图像分类模型。具体可以如下：
(1)根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图。
其中，剪枝也称之为网络剪枝，可以理解为对预设图像处理模型种的某些神经元进行干预，使得其停止运行，神经元停止运行后，该神经元处理对应的特征图中特征区域的特征值也相应降为零，将这个过程作为对特征图进行剪枝，其实，剪枝并不是将这个特征图中特征区域删除，而是改变这个特征图中特征区域的特征值。
例如，在特征图中筛选出目标特征区域以外的其他特征区域，将其他特征区域中特征的特征值清零，得到清零后特征图，比如，可以获取目标特征区域的位置，将目标特征区域位置对应的区域作为感兴趣区域，根据感兴趣区域的形状或者区域图像，生成与特征图尺寸对应的掩码图，该掩码图中感兴趣的特征值可以为1，感兴趣区域之外的特征值为0，如图4所示。将掩码图对应的矩阵与特征图对应的mi×ni相乘，就可以将其他特征区域的特征值清零，得到清零后特征图。由于剪枝过程只存在图像分类模型训练过程中，在对图像分类模型的测试和运行过程中是不会对特征图进行剪枝的，因此，在训练过程中，尤其是对特征图进行剪枝后，特征图中特征值不为零的特征区域数量变少了，而测试过程中又不会出现这种情况，因此，需要对清零特征图进行补偿，以使得在训练和测试是，图像分类模型剪枝后的网络层有大致相同的期望。补偿过程可以为，计算剪枝系数，将清零后特征图除以剪枝系数，得到剪枝后特征图。
其中，剪枝系数可以为剪枝后特征值清零的特征区域占特征图全部特征区域的比例，比如，特征图共有16个特征区域，剪枝掉了4个特征区域，就是对4个特征区域的特征值清零，此时，剪枝系数可以为0.25。
(2)根据剪枝后特征图和图像样本，对预设图像分类模型进行训练，得到训练后图像分类模型。
例如，将剪枝后特征图输入至预设图像分类模型的下一个网络层，对下一个其他网络层输出的处理后特征图再次进行区域划分，计算划分的每一特征区域的抽样概率，根据抽样概率，在处理后特征图中抽样出参加训练的目标特征区域，根据目标特征区域，对处理后特征图进行剪枝，得到剪枝后特征图，返回继续将剪枝后特征图输入至其他网络层的下一个网络层，并对下一个网络输出的特征图进行区域划分的步骤，直到对该预设图像处理模型的所有网络层输出的图像剪枝完成之后，得到目标剪枝后特征图，根据目标剪枝后特征图，对图像样本进行分类预测，得到图像样本的预测类型。根据预测类型和已标注图像类型，对预设分类模型进行收敛，得到训练后图像分类模型，比如，可以通过插值损失函数和反向传递，对预设图像分类模型进行收敛，譬如，可以采用Dice函数(一种损失函数)，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，以及通过插值损失函数，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，得到训练后图像分类模型。
可选的，为了提高图像分类模型对图像分类的的精确性，除了采用Dice函数之外，还可以采用其他的损失函数如交叉熵损失函数来进行收敛，具体可以如下：
采用交叉熵损失函数，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，以及通过插值损失函数，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，得到训练后图像分类模型。
C2、根据训练后图像分类模型对待分类图像进行分类。
例如，可以获取待分类图像，采用训练后图像分类模型对待分类图像进行特征提取，得到待分类图像对应的特征图，对特征图进行特征处理，得到待分类图像的分类结果。具体可以如下：
(1)获取待分类图像。
例如，可以直接获取待处理图像，比如，用户通过终端将需要分类的图像上传至图像分类装置，假设用户同时需要分类多张图像时，可以将多张图像存储至第三方数据库，然后，向图像分类装置发送图像分类请求，该图像分类请求中可以携带存储在第三方数据库中待分类图像的存储位置，图像分类装置根据图像分类请求中携带的存储地址，在第三方数据库中提取到待分类图像。提取到待分类图像后，还以向用户对应的终端发送提示信息以提示用户已提取到待分类图像。
(2)采用训练后图像处理模型对待处理图像进行特征提取，得到待分类图像对应的特征图。
例如，可以采用训练后图像分类模型对特征提取网络对待分类图像进行特征提取，该特征提取网络可以为残差网络、密集网络或者具有特征提取的一个或多个网络层组成网络等。对待分类图像进行多尺度或多维度的特征提取，得到一个或多个特征图。
(3)对特征图进行特征处理，得到待分类图像的分类结果。
例如，可以对特征图进行识别，以识别出特征图对应的待分类图像的具体内容，根据识别出的待分类图像内容，对待分类图像进行分类。比如，对特征图进行识别，识别出特征图对应的待分类图像为一只狗，就可以将待分类图像分类为动物类图像或者狗类图像等。
可选的，还可以将待分类图像的分类结果采用区块链进行存储，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
由以上可知，本申请实施例在获取至少一张图像样本后，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类；由于该方案在特征图中选择特征区域进行训练，而不是单个位置的像素，而且，对于特征区域的选择，采用抽样概率，充分考虑了每个特征区域在特征图中的重要程度来计算抽样概率，因此，可以大大提高图像分类模型对图像分类的准确率。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该图像分类装置具体集成在电子设备，电子设备为服务器为例进行说明。
如图5所示，一种图像分类方法，具体流程如下：
201、服务器获取至少一张图像样本。
例如，服务器可以直接在训练样本集合中筛选出一张或者多张图像样本。至于筛选规则，可以在训练样本集合中筛选同一类型的一张或多张图像样本，还可以在训练样本集合的不同类型的图像样本集合中筛选出一张或多张图像样本。还可以从网络或数据库中筛选出一张或多张图像，将图像发送至标注终端，并接收标注终端对该图像的标注，将标注后图像作为图像样本。
202、服务器采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图。
例如，服务器可以采用ResNet_152的特征提取网络层对图像样本进行特征提取，对图像样本进行特征提取，得到图像样本对应的特征集合，对特征集合进行转换，转换为尺寸为mi×ni×di的张量(tensor)，其中di为张量的通道深度，这个张量中包含di个mi×ni矩阵，将每一个mi×ni矩阵都看作为一张特征图，因此，可以得到图像样本对应的一张或多张特征图。
203、服务器根据特征图的尺寸，确定需要划分的区域数量。
例如，服务器可以根据特征图的尺寸，确定特征图对应的尺寸等级，在预设区域数量集合中筛选出尺寸等级对应的区域数量，譬如，当特征图的尺寸未超过第一尺寸阈值时，确定特征图的尺寸为第一等级尺寸，在区域数量集合中筛选出第一等级尺寸对应的区域数量，当特征图的尺寸超过第一尺寸阈值，但未超过第二尺寸阈值时，确定特征图的尺寸为第二等级尺寸，在区域数量集合中筛选出第二等级尺寸对应的区域数量，依次类推，尺寸等级可以根据实际情况来进行设定。一般划分的区域数量至少为16，但是区域数量也不能太多。
204、服务器在特征图上划分出区域数量对应的特征区域。
例如，当特征图的尺寸为mi×ni，则服务器可以确定特征图中的特征数量可以为(mi×ni)个。基于区域数量和特征数量，在特征图上划分出区域数量对应的特征区域，比如，当特征均匀分布在特征图时，可以根据区域数量，对特征图进行区域划分，使得划分的每一特征区域的区域面积都相同，如图3所示，划分出的每一特征区域中的特征数量还需要超过预设数量阈值，比如，一般来说预设数量阈值可以为36，当每一特征区域中的特征数量超过36时，可以保证训练效果。当特征并不均匀分布在特征图时，对特征图进行区域划分时，就需要考虑每个区域的特征数量需要超过预设数量阈值，因此，可以将特征密度大的区域划分的面积小一点，将特征密度小的区域划分的面积大一些，如果部分区域的特征密度不够的情况下，也可以考虑通过重合部分区域，使得特征区域中的特征数量满足要求。
205、服务器根据特征区域的特征值，计算每一特征区域的抽样概率。
例如，服务器直接获取mi×ni矩阵划分的特征区域中特征的特征值，将这些特征的特征值的绝对值进行累加，就可以得到这个特征区域的特征值。将每个特征区域的特征值再次进行累加，就可以得到特征图的特征值，还可以将这些特征的特征值的绝对值的平方进行累加作为特征图的特征值。根据特征区域的特征值和特征图的特征值，计算特征区域在特征图中的区域敏感概率，比如，计算特征区域在特征图中的区域敏感概率可以通过如下公式：
Figure BDA0002398627200000161
其中，Rj为特征图中特征区域的身份标识，f(Rj)为Rj种所有特征的特征值的绝对值之和，或者绝对值平方的和，也就是Rj特征区域的特征值。因为，区域概率也可以理解为特征区域在特征图中的重要程度，特征区域的区域敏感度越高，说明该特征区域在特征图中越重要。
可选的，特征区域在特征图中的区域敏感概率，还可以采用其他的计算方法，比如，还可以根据特征区域的位置，获取该位置对应的加权系数，通过加权系数对特征区域的特征值进行加权，将加权后的特征区域的特征值采用上述公式来计算该特征区域的区域敏感概率。
将计算出的特征区域的区域敏感概率作为特征区域的抽样概率。
206、服务器根据抽样概率，在特征图抽样出参加训练的目标特征区域。
例如，服务器在特征图中确定参加抽样的特征区域数量和参加训练的特征区域数量，在特征图中筛选出特征区域数量对应的候选特征区域，根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。具体可以如下：
(1)服务器在特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量。
例如，服务器根据特征图的尺寸和划分的区域数量，可以确定参加抽样的特征区域数量和参加训练的目标特征区域数量，比如，特征图的尺寸较大，划分的区域为54个，由于划分区域较多，可以在这54个特征区域中随机选择部分区域作为候选特征区域，还可以筛选出区域敏感概率超过预设阈值的特征区域作为候选特征区域，又比如，特征图的尺寸较小，一共就划分了16个特征区域，此时，我们可以将这16分特征区域都作为参加抽样的候选特征区域，因此，可以将筛选出候选特征区域的数量作为参加抽样的特征区域数量。可以根据划分的区域数量确定参加训练的目标特征区域数量，比如，可以对区域数量进行等级划分，每个等级对应一个参加训练的目标特征区域数量，譬如，以划分三个等级为例，第一等级对应的目标特征区域数量为候选特征区域数量的1/2，第二等级对应的目标特征区域数量为候选特征区域数量的1/3，第三等级对应的目标特征区域数量为候选特征区域数量的1/5。
(2)服务器在特征图中筛选出特征区域数量对应的候选特征区域。
例如，服务器根据确定的特征区域数量，在特征图中筛选出候选特征区域，比如，候选特征区域数量为24个，特征图一共被划分为32个特征区域，可以直接在32个特征区域中随机筛选出24个候选特征区域。还可以根据特征区域的位置，在特征区域中筛选出候选特征区域，比如，可以将整个特征图的特征区域划分为头部特征区域、中间特征区域和尾部特征区域，根据特征区域的位置，分别在头部特征区域、中间特征区域和尾部特征区域分别筛选出候选特征区域。还可以根据特征区域的特征值的大小，来筛选出候选特征区域，比如，根据特征区域的特征值，对特征区域进行分段或分类，在每一个分段区间中筛选出部分特征区域作为候选特征区域。
(3)服务器根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。
例如，服务器可以将特征区域的抽样概率值进行分类，可以分为重要特征区域、比较重要特征区域和普通特征区域。根据分类结果，确定候选特征区域的加权系数，比如，当候选特征区域为重要特征区域时，则确定该特征区域的加权系数为重要特征区域对应的加权系数，当候选特征区域为比较重要特征区域时，则确定该特征区域的加权系数为比较重要特征区域对应的加权系数，当候选特征区域为普通特征区域时，则确定该特征区域的加权系数为普通特征区域对应的加权系数，其中重要特征区域的加权系数大于比较重要特征区域大于普通特征区域。根据加权系数，分别对候选特征区域的抽样概率进行加权，得到加权后抽样概率。基于加权后抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。比如，根据加权后抽样概率，对特征区域再次进行细化分类，譬如，将重要特征区域可以分为多个等级的重要特征区域，以三级为例，第一重要特征区域、第二重要特征区域和第三重要特征区域分别对应的不同的加权后抽样概率区间。然后，根据每个等级的特征区域的特征区域数量，确定每个类型的每个等级的特征区域集合中需要抽样的目标特征区域的数量，比如，需要抽样出16个目标特征区域，当第一重要特征区域共有5个特征区域，可以确定在这个等级的特征区域需要抽样出3目标特征区域，然后，随机在这个5个特征区域中有放回或者无放回的抽样出3个目标特征区域。当第二重要特征区域共有6个特征区域，可以确定在这个等级特征区域需要抽样出2个目标特征区域，然后，随机在这个6个特征区域中有放回或者无放回的抽样出2个目标特征区域。依次类推，在每个等级的特征区域中抽样出对应数量的目标特征区域，最后，得到整个特征图中需要抽样出的目标特征区域数量对应的目标特征区域。
207、服务器基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型。
例如，服务器可以根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图，基于剪枝后特征图和图像样本，对预设分类模型进行训练，得到训练后图像分类模型。具体可以如下：
(1)服务器根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图。
例如，服务器可以获取目标特征区域的位置，将目标特征区域位置对应的区域作为感兴趣区域，根据感兴趣区域的形状或者区域图像，生成与特征图尺寸对应的掩码图，该掩码图中感兴趣的特征值可以为1，感兴趣区域之外的特征值为0，如图4所示。将掩码图对应的矩阵与特征图对应的mi×ni相乘，就可以将其他特征区域的特征值清零，得到清零后特征图。由于剪枝过程只存在图像分类模型训练过程中，在对图像分类模型的测试和运行过程中是不会对特征图进行剪枝的，因此，在训练过程中，尤其是对特征图进行剪枝后，特征图中特征值不为零的特征区域数量变少了，而测试过程中又不会出现这种情况，因此，需要对清零特征图进行补偿，以使得在训练和测试是，图像分类模型剪枝后的网络层有大致相同的期望。补偿过程可以为，计算剪枝系数，将清零后特征图除以剪枝系数，得到剪枝后特征图。
(2)服务器根据剪枝后特征图和图像样本，对预设图像分类模型进行训练，得到训练后图像分类模型。
例如，服务器将剪枝后特征图输入至预设图像分类模型的下一个网络层，对下一个其他网络层输出的处理后特征图再次进行区域划分，计算划分的每一特征区域的抽样概率，根据抽样概率，在处理后特征图中抽样出参加训练的目标特征区域，根据目标特征区域，对处理后特征图进行剪枝，得到剪枝后特征图，返回继续将剪枝后特征图输入至其他网络层的下一个网络层，并对下一个网络输出的特征图进行区域划分的步骤，直到对该预设图像处理模型的所有网络层输出的图像剪枝完成之后，得到目标剪枝后特征图，根据目标剪枝后特征图，对图像样本进行分类预测，得到图像样本的预测类型。根据预测类型和已标注图像类型，对预设分类模型进行收敛，得到训练后图像分类模型，比如，可以通过插值损失函数和反向传递，对预设图像分类模型进行收敛，譬如，可以采用Dice函数，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，以及通过插值损失函数，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，得到训练后图像分类模型。
可选的，为了提高图像分类模型对图像分类的的精确性，除了采用Dice函数之外，还可以采用其他的损失函数如交叉熵损失函数来进行收敛，具体可以如下：
采用交叉熵损失函数，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，以及通过插值损失函数，根据预测类型和已标注图像类型对预设图像模型用于图像样本分类的参数进行调整，得到训练后图像分类模型。
208、服务器根据训练后图像分类模型对待分类图像进行分类。
例如，服务器可以获取待分类图像，采用训练后图像分类模型对待分类图像进行特征提取，得到待分类图像对应的特征图，对特征图进行特征处理，得到待分类图像的分类结果。具体可以如下：
(1)服务器获取待分类图像。
例如，用户通过终端将需要分类的图像上传至服务器，服务器直接获取到待分类图像，假设用户同时需要分类多张图像时，还可以将多张图像存储至第三方数据库，然后，向服务器发送图像分类请求，该图像分类请求中可以携带存储在第三方数据库中待分类图像的存储位置，服务器根据图像分类请求中携带的存储地址，在第三方数据库中提取到待分类图像。提取到待分类图像后，还以向用户对应的终端发送提示信息以提示用户已提取到待分类图像。
(2)服务器采用训练后图像处理模型对待处理图像进行特征提取，得到待分类图像对应的特征图。
例如，服务器可以采用训练后图像分类模型对特征提取网络对待分类图像进行特征提取，该特征提取网络可以为残差网络、密集网络或者具有特征提取的一个或多个网络层组成网络等。对待分类图像进行多尺度或多维度的特征提取，得到一个或多个特征图。
(3)服务器对特征图进行特征处理，得到待分类图像的分类结果。
例如，服务器可以对特征图进行识别，以识别出特征图对应的待分类图像的具体内容，根据识别出的待分类图像内容，对待分类图像进行分类。比如，对特征图进行识别，识别出特征图对应的待分类图像为一只狗，就可以将待分类图像分类为动物类图像或者狗类图像等。
可选的，还可以将待分类图像的分类结果采用区块链进行存储，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
由以上可知，本实施例服务器在获取至少一张图像样本后，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类；由于该方案在特征图中选择特征区域进行训练，而不是单个位置的像素，而且，对于特征区域的选择，采用抽样概率，充分考虑了每个特征区域在特征图中的重要程度来计算抽样概率，因此，可以大大提高图像分类模型对图像分类的准确率。
为了更好地实施以上方法，本发明实施例还提供一种图像分类装置，该图像分类装置可以集成在电子设备，该电子设备可以为服务器等设备。
例如，如图6所示，该图像分类装置可以包括获取单元301、提取单元302、区域划分单元303、抽样单元304、训练单元305和分类单元306，如下：
(1)获取单元301；
获取单元301，用于获取至少一张图像样本。
例如，获取单元301，具体可以用于直接从训练样本集合获取至少一张图像样本，还可以在训练样本集合的不同类型的图像样本集合中筛选出一张或多张图像样本。还可以从网络或数据库中筛选出一张或多张图像，将图像发送至标注终端，并接收标注终端对该图像的标注，将标注后图像作为图像样本。
(2)提取单元302；
提取单元302，用于采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图。
例如，提取单元302，具体可以用于可以采用残差网络等特征提取网络对图像样本进行特征提取，得到图像样本对应的特征集合，对特征集合进行转换，转换为尺寸为mi×ni×di的张量(tensor)，其中di为张量的通道深度，这个张量中包含di个mi×ni矩阵，将每一个mi×ni矩阵都看作为一张特征图，因此，可以得到图像样本对应的一张或多张特征图。
(3)区域划分单元303；
区域划分单元303，用于根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率。
其中，区域划分单元303还可以包括第一确定子单元3031、划分子单元3032和计算子单元3033，如图7所示，具体如下：
第一确定子单元3031，用于根据特征图的尺寸，确定需要划分的区域数量；
划分子单元3032，用于在特征图上划分出区域数量对应的特征区域；
计算子单元3033，用于根据特征区域的特征值，计算每一特征区域的抽样概率。
例如，第一确定子单元3031根据特征图的尺寸，确定需要划分的区域数量，划分子单元3032在特征图上划分出区域数量对应的特征区域，计算子单元3033根据特征区域的特征值，计算每一特征区域的抽样概率。
(4)抽样单元304；
抽样单元304，用于根据抽样概率，在特征图抽样出参加训练的目标特征区域；
其中，抽样单元304还可以包括第二确定子单元3041、筛选子单元3042和抽样子单元3043，如图8所示，具体如下：
第二确定子单元3041，用于在特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量；
筛选子单元3042，用于在特征图中筛选出特征区域数量对应的候选特征区域；
抽样子单元3043，用于根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。
例如，第二确定子单元3041在特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量，筛选子单元3042在特征图中筛选出特征区域数量对应的候选特征区域，抽样子单元3043根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。
(5)分类单元305；
分类单元305，用于基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型，对待分类图像进行分类。
例如，分类单元305，具体可以用于根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图，基于剪枝后特征图和图像样本，对预设图像分类模型进行训练，得到训练后图像分类模型，根据训练后图像分类模型对待分类图像进行分类，得到待分类图像的分类结果。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由以上可知，本实施例获取单元301在获取至少一张图像样本后，提取单元302采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，区域划分单元303根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，抽样单元304根据抽样概率，在特征图抽样出参加训练的目标特征区域，分类单元305基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类；由于该方案在特征图中选择特征区域进行训练，而不是单个位置的像素，而且，对于特征区域的选择，采用抽样概率，充分考虑了每个特征区域在特征图中的重要程度来计算抽样概率，因此，可以大大提高图像分类模型对图像分类的准确率。
本发明实施例还提供一种电子设备，如图9所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取至少一张图像样本，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类。
例如，直接从训练样本集合获取至少一张图像样本，还可以在训练样本集合的不同类型的图像样本集合中筛选出一张或多张图像样本。还可以从网络或数据库中筛选出一张或多张图像，将图像发送至标注终端，并接收标注终端对该图像的标注，将标注后图像作为图像样本。采用残差网络等特征提取网络对图像样本进行特征提取，得到图像样本对应的特征集合，对特征集合进行转换，转换为尺寸为mi×ni×di的张量(tensor)，其中di为张量的通道深度，这个张量中包含di个mi×ni矩阵，将每一个mi×ni矩阵都看作为一张特征图，因此，可以得到图像样本对应的一张或多张特征图。根据特征图的尺寸，确定需要划分的区域数量，在特征图上划分出区域数量对应的特征区域，根据特征区域的特征值，计算每一特征区域的抽样概率，在特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量，在特征图中筛选出特征区域数量对应的候选特征区域，根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图，基于剪枝后特征图和图像样本，对预设图像分类模型进行训练，得到训练后图像分类模型。获取待分类图像，采用训练后图像分类模型对待分类图像进行特征提取，得到待分类图像对应的特征图，对所述特征图进行特征处理，得到所述待分类图像的分类结果。
以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
由以上可知，本发明实施例在获取至少一张图像样本后，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类；由于该方案在特征图中选择特征区域进行训练，而不是单个位置的像素，而且，对于特征区域的选择，采用抽样概率，充分考虑了每个特征区域在特征图中的重要程度来计算抽样概率，因此，可以大大提高图像分类模型对图像分类的准确率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像分类方法中的步骤。例如，该指令可以执行如下步骤：
获取至少一张图像样本，采用预设图像分类模型对图像样本进行特征提取，得到图像样本对应的特征图，根据特征图的尺寸，在特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，该抽样概率为特征区域被选中参加训练的概率，根据抽样概率，在特征图抽样出参加训练的目标特征区域，基于目标特征区域，对预设图像分类模型进行训练，得到训练后图像分类模型，以根据训练后图像分类模型对待分类图像进行分类。
例如，直接从训练样本集合获取至少一张图像样本，还可以在训练样本集合的不同类型的图像样本集合中筛选出一张或多张图像样本。还可以从网络或数据库中筛选出一张或多张图像，将图像发送至标注终端，并接收标注终端对该图像的标注，将标注后图像作为图像样本。采用残差网络等特征提取网络对图像样本进行特征提取，得到图像样本对应的特征集合，对特征集合进行转换，转换为尺寸为mi×ni×di的张量(tensor)，其中di为张量的通道深度，这个张量中包含di个mi×ni矩阵，将每一个mi×ni矩阵都看作为一张特征图，因此，可以得到图像样本对应的一张或多张特征图。根据特征图的尺寸，确定需要划分的区域数量，在特征图上划分出区域数量对应的特征区域，根据特征区域的特征值，计算每一特征区域的抽样概率，在特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量，在特征图中筛选出特征区域数量对应的候选特征区域，根据抽样概率，在候选特征区域中抽样出目标特征区域数量对应的目标特征区域。根据目标特征区域，对特征图进行剪枝，得到剪枝后特征图，基于剪枝后特征图和图像样本，对预设图像分类模型进行训练，得到训练后图像分类模型。获取待分类图像，采用训练后图像分类模型对待分类图像进行特征提取，得到待分类图像对应的特征图，对所述特征图进行特征处理，得到所述待分类图像的分类结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像分类方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像分类方法、装置和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种图像分类方法，其特征在于，包括：
获取至少一张图像样本；
采用预设图像分类模型对所述图像样本进行特征提取，得到图像样本对应的特征图；
根据所述特征图的尺寸，在所述特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，所述抽样概率为特征区域被选中参加训练的概率；
根据所述抽样概率，在所述特征图抽样出参加训练的目标特征区域；
基于所述目标特征区域，对所述预设图像分类模型进行训练，得到训练后图像分类模型，以根据所述训练后图像分类模型对待分类图像进行分类。
2.根据权利要求1所述的图像分类方法，其特征在于，所述根据所述特征图的尺寸，在所述特征图上进行区域划分，并计算划分的特征区域的抽样概率，包括：
根据所述特征图的尺寸，确定需要划分的区域数量；
在所述特征图上划分出所述区域数量对应的特征区域；
根据所述特征区域的特征值，计算每一特征区域的抽样概率。
3.根据权利要求2所述的图像分类方法，其特征在于，所述在所述特征图上划分出所述区域数量对应的特征区域，包括：
识别所述特征图中的特征数量；
基于所述区域数量和特征数量，在所述特征图上划分出所述区域数量对应的特征区域，所述特征区域中的特征数量超过预设数量阈值。
4.根据权利要求2所述的图像分类方法，其特征在于，所述计算所述特征区域的抽样概率，包括：
获取所述特征区域中特征的特征值；
将所述特征的特征值进行累加，得到所述特征区域的特征值；
基于所述特征区域的特征值，计算所述特征区域的抽样概率。
5.根据权利要求4所述的图像分类方法，其特征在与，所述基于所述特征区域的特征值，计算所述特征区域的抽样概率，包括：
将所述特征区域的特征值进行累加，得到所述特征图的特征值；
基于所述特征区域的特征值和特征图的特征值，计算所述特征区域在所述特征图中的区域敏感概率，将所述区域敏感概率作为所述特征区域的抽样概率，所述区域敏感概率为指示所述特征区域在特征图中的重要程度。
6.根据权利要求1至5任一项所述的图像分类方法，其特征在于，所述根据所述抽样概率，在所述特征图抽样出要参加训练的目标特征区域，包括：
在所述特征图中确定出参加抽样的特征区域数量和参加训练的目标特征区域数量；
在所述特征图中筛选出所述特征区域数量对应的候选特征区域；
根据所述抽样概率，在所述候选特征区域中抽样出所述目标特征区域数量对应的目标特征区域。
7.根据权利要求6所述的图像分类方法，其特征在于，所述根据所述抽样概率，在所述候选特征区域中抽样出所述目标特征区域数量对应的目标特征区域，包括：
根据所述抽样概率，对所述候选特征区域进行分类；
基于分类结果，确定所述候选特征区域的加权系数；
根据所述加权系数，对所述候选特征区域的抽样概率进行加权；
基于加权后抽样概率，在所述候选特征区域中抽样出所述目标特征区域数量对应的目标特征区域。
8.根据权利要求1所述的图像分类方法，其特征在于，所述基于所述目标特征区域，对所述预设图像分类模型进行训练，得到训练后图像分类模型，以根据所述训练后图像分类模型对待分类图像进行分类，包括：
根据所述目标特征区域，对所述特征图进行剪枝，得到剪枝后特征图；
基于所述剪枝后特征图和图像样本，对所述预设图像分类模型进行训练，得到训练后图像分类模型；
根据所述训练后图像分类模型对待分类图像进行分类。
9.根据权利要求8所述的图像分类方法，其特征在于，所述根据所述目标特征区域，对所述特征图进行剪枝，得到剪枝后特征图，包括：
在所述特征图中筛选出目标特征区域以外的其他特征区域；
对所述其他特征区域的特征值清零，得到清零后特征图；
对所述清零后特征图进行补偿，得到剪枝后特征图。
10.根据权利要求8所述的图像分类方法，其特征在于，所述图像样本包括已标注图像类型，所述基于所述剪枝后特征图和图像样本，对所述预设图像分类模型进行训练，得到训练后图像分类模型，包括：
根据所述剪枝后特征图，对所述图像样本进行分类预测，得到所述图像样本的预测类型；
根据所述预测类型和已标注图像类型对所述预设图像分类模型进行收敛，得到训练后图像分类模型。
11.根据权利要求8所述的图像分类方法，其特征在于，所述根据所述训练后图像分类模型对待分类图像进行分类，包括：
获取待分类图像；
采用所述训练后图像分类模型对所述待分类图像进行特征提取，得到所述待分类图像对应的特征图；
对所述特征图进行特征处理，得到所述待分类图像的分类结果。
12.一种图像分类装置，其特征在于，包括：
获取单元，用于获取至少一张图像样本；
提取单元，用于采用预设图像分类模型对所述图像样本进行特征提取，得到图像样本对应的特征图；
区域划分单元，用于根据所述特征图的尺寸，在所述特征图上进行区域划分，并计算划分得到的每一特征区域的抽样概率，所述抽样概率为特征区域被选中参加训练的概率；
抽样单元，用于根据所述抽样概率，在所述特征图抽样出参加训练的目标特征区域；
分类单元，用于基于所述目标特征区域，对所述预设图像分类模型进行训练，得到训练后图像分类模型，已根据所述训练后图像分类模型对待分类图像进行分类。
13.一种电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器上运行的应用程序，其中，所述处理器用于运行所述存储器内的应用程序实现如权利要求1至11任一项所述的图像分类方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11任一项所述的文本标签生成方法中的步骤。
CN202010139675.XA 2020-03-03 2020-03-03 一种图像分类方法、装置和计算机可读存储介质 Active CN111368911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139675.XA CN111368911B (zh) 2020-03-03 2020-03-03 一种图像分类方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139675.XA CN111368911B (zh) 2020-03-03 2020-03-03 一种图像分类方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111368911A true CN111368911A (zh) 2020-07-03
CN111368911B CN111368911B (zh) 2021-03-02

Family

ID=71208427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139675.XA Active CN111368911B (zh) 2020-03-03 2020-03-03 一种图像分类方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111368911B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882565A (zh) * 2020-07-28 2020-11-03 深圳市雨滴科技有限公司 一种图像二值化方法、装置、设备及存储介质
CN113159085A (zh) * 2020-12-30 2021-07-23 北京爱笔科技有限公司 分类模型的训练及基于图像的分类方法、相关装置
CN113177596A (zh) * 2021-04-30 2021-07-27 中国人民银行数字货币研究所 一种区块链地址分类方法和装置
CN114186633A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 模型的分布式训练方法、装置、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344695A (zh) * 2018-08-14 2019-02-15 中山大学 一种基于特征选择卷积神经网络的目标重识别方法和装置
CN110352357A (zh) * 2017-03-01 2019-10-18 Abb瑞士股份有限公司 用于确定电容部件参数的方法和装置
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110352357A (zh) * 2017-03-01 2019-10-18 Abb瑞士股份有限公司 用于确定电容部件参数的方法和装置
CN109344695A (zh) * 2018-08-14 2019-02-15 中山大学 一种基于特征选择卷积神经网络的目标重识别方法和装置
CN110659734A (zh) * 2019-09-27 2020-01-07 中国科学院半导体研究所 深度可分离卷积结构的低比特量化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANYU PENG,AT EL.: ""Collaborative Channel Pruning for Deep Networks"", 《PROCEEDINGS OF THE 36TH INTERNATIONAL CONFERENCE OM MACHINE LEARNING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882565A (zh) * 2020-07-28 2020-11-03 深圳市雨滴科技有限公司 一种图像二值化方法、装置、设备及存储介质
CN113159085A (zh) * 2020-12-30 2021-07-23 北京爱笔科技有限公司 分类模型的训练及基于图像的分类方法、相关装置
CN113159085B (zh) * 2020-12-30 2024-05-28 北京爱笔科技有限公司 分类模型的训练及基于图像的分类方法、相关装置
CN113177596A (zh) * 2021-04-30 2021-07-27 中国人民银行数字货币研究所 一种区块链地址分类方法和装置
CN113177596B (zh) * 2021-04-30 2024-03-22 中国人民银行数字货币研究所 一种区块链地址分类方法和装置
CN114186633A (zh) * 2021-12-10 2022-03-15 北京百度网讯科技有限公司 模型的分布式训练方法、装置、设备以及存储介质
CN114186633B (zh) * 2021-12-10 2023-04-07 北京百度网讯科技有限公司 模型的分布式训练方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN111368911B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN111368911B (zh) 一种图像分类方法、装置和计算机可读存储介质
CN111785329B (zh) 基于对抗自动编码器的单细胞rna测序聚类方法
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN104992223A (zh) 基于深度学习的密集人数估计方法
JP2022141931A (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN111027600B (zh) 图像类别预测方法和装置
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN110598019A (zh) 重复图像识别方法及装置
CN114155397B (zh) 一种小样本图像分类方法及系统
CN110175696B (zh) 一种基于多元回归的渔港船舶进出港动态预测方法及系统
Zhang Application of artificial intelligence recognition technology in digital image processing
CN111352926B (zh) 数据处理的方法、装置、设备及可读存储介质
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN111275059B (zh) 一种图像处理方法、装置和计算机可读存储介质
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN110866609B (zh) 解释信息获取方法、装置、服务器和存储介质
Khavalko et al. Classification and Recognition of Medical Images Based on the SGTM Neuroparadigm.
CN114219051B (zh) 图像分类方法、分类模型的训练方法、装置及电子设备
CN112580538B (zh) 客服人员调度方法、装置、设备及存储介质
CN115293249A (zh) 一种基于动态时序预测的电力系统典型场景概率预测方法
CN109308565B (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
CN113822412A (zh) 一种图节点标注方法、装置、设备及存储介质
Aleza et al. Use of Artificial Intelligence to Avoid Errors in Referring a Football Match
CN115831339B (zh) 基于深度学习的医疗系统风险管控事前预测方法、系统
An et al. Slope Collapse Detection Based on Image Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026360

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant