CN111275059A - 一种图像处理方法、装置和计算机可读存储介质 - Google Patents

一种图像处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111275059A
CN111275059A CN202010120394.XA CN202010120394A CN111275059A CN 111275059 A CN111275059 A CN 111275059A CN 202010120394 A CN202010120394 A CN 202010120394A CN 111275059 A CN111275059 A CN 111275059A
Authority
CN
China
Prior art keywords
feature map
feature
image processing
map set
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010120394.XA
Other languages
English (en)
Other versions
CN111275059B (zh
Inventor
孙若琪
沈志强
陈万里
徐洪义
李睿宇
沈小勇
马利庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010120394.XA priority Critical patent/CN111275059B/zh
Publication of CN111275059A publication Critical patent/CN111275059A/zh
Application granted granted Critical
Publication of CN111275059B publication Critical patent/CN111275059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion

Abstract

本发明实施例公开了一种图像处理方法、装置和计算机可读存储介质；本发明实施例在从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果；该方案可以提高图像处理模型对图像处理的准确性。

Description

一种图像处理方法、装置和计算机可读存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种图像处理方法、装置和计算机可读存储介质。
背景技术
近年来，随着神经网络技术在人工智能领域的大热，将神经网络应用于图像处理方面也有了长足的发展。尤其是将神经网络应用于图像分类分割领域。为了提升神经网络对图像处理的准确性，就需要在图像处理模型训练过程中提升网络性能，而网络正则化是提升网络性能的重要算法，现有的以dropout(一种网络剪枝算法)为代表的网络剪枝方法被广泛应用在各个图像处理任务中。
在对现有技术的研究和实践过程中，本发明的发明人发现对于现有的网络剪枝方法在剪枝完成后会使得在图像处理模型中批归一层计算的均值和方差不准确，产生方差偏移，因此，会大大影响图像处理模型对图像处理的准确性。
发明内容
本发明实施例提供一种图像处理方法、装置和计算机可读存储介质。可以提高图像处理模型对图像处理的准确性。
一种图像处理方法，包括：
从训练样本集合中确定当前需要训练的批数据，所述批数据包括多个图像样本；
采用预设图像处理模型对所述图像样本进行特征提取，得到特征图集合，所述特征图集合包括多个特征图，每一个特征图对应一个图像样本；
对所述特征图集合中的特征图进行剪枝，得到剪枝后特征图集合；
根据所述剪枝后特征图集合，对所述批数据进行批归一化处理，以收敛所述预设图像处理模型；
返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至所述预设图像处理模型收敛完毕，得到训练后图像处理模型；
基于所述训练后图像处理模型对待处理图像进行处理，得到处理结果。
相应的，本发明实施例还提供另一种图像处理方法，包括：
获取待处理图像；
采用训练后图像处理模型对所述待处理图像进行特征提取，得到待处理图像对应的特征图，所述训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，所述批数据包括多个图像样本，所述剪枝后特征图集合为所述批数据中图像样本对应的特征图被剪枝后得到的特征图集合；
根据所述特征图，识别所述待处理图像的内容，并根据识别结果，对所述待处理图像进行分类或分割处理。相应的，本发明实施例提供一种图像处理装置，包括：
确定单元，用于从训练样本集合中确定当前需要训练的批数据，所述批数据包括多个图像样本；
提取单元，用于采用预设图像处理模型对所述图像样本进行特征提取，得到特征图集合，所述特征图集合包括多个特征图，每一个特征图对应一个图像样本；
剪枝单元，用于对所述特征图集合中的特征图进行剪枝，得到剪枝后特征图集合；
收敛单元，用于根据所述剪枝后特征图集合，对所述批数据进行批归一化处理，以收敛所述预设图像处理模型；
执行单元，用于返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至所述预设图像处理模型收敛完毕，得到训练后图像处理模型；
处理单元，用于基于所述训练后图像处理模型对待处理图像进行处理，得到处理结果。
相应的，本发明实施例还提供另一种一种图像处理装置，包括：
获取单元，用于获取待处理图像；
特征提取单元，用于采用训练后图像处理模型对所述待处理图像进行特征提取，得到待处理图像对应的特征图，所述训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，所述批数据包括多个图像样本，所述剪枝后特征图集合为所述批数据中图像样本对应的特征图被剪枝后得到的特征图集合；
识别单元，用于根据所述特征图，识别所述待处理图像的内容，并根据识别结果，对所述待处理图像进行分类或分割处理。
可选的，在一些实施例中，所述收敛单元，具体可以用于根据所述剪枝后特征图集合，对输入至批归一层的目标特征图集合的均值进行修正，得到修正后特征图集合；采用所述批归一层对所述修正后特征图集合中的特征图进行批归一化处理；根据批归一化处理结果，更新所述批归一层的网络参数，以收敛所述预设图像处理模型。
可选的，在一些实施例中，所述收敛单元，具体可以用于根据所述剪枝后特征图集合和图像处理模型的结构，确定输入至批归一层的目标特征图集合；计算所述目标特征图集合中未剪枝特征图的均值，得到目标均值；根据所述目标均值，对所述目标特征集合的均值进行修正，得到修正后特征图集合。
可选的，在一些实施例中，所述收敛单元，具体可以用于在所述目标特征图集合中识别出已剪枝特征图的位置；将所述目标均值填充至所述已剪枝特征图的位置，使得所述已剪枝特征图的特征值为所述目标均值，得到修正后特征图集合。
在一些实施例中，所述收敛单元，具体可以用于根据所述图像处理模型的结构，识别出所述剪枝后特征图集合将要输入的网络层的类型；当所述网络层的类型为所述批归一层时，确定所述剪枝后特征图集合为所述目标特征图集合；当所述网络层的类型为其他网络层时，采用所述其他网络层对剪枝后特征图集合进行特征处理，并返回执行识别所述其他网络层的下一个网络层的步骤，直到识别出网络层的类型为所述批归一层为止，将所述剪枝后特征图集合经过所述批归一层之前的网络层进行特征处理得到的处理后特征图集合作为目标特征图集合。
可选的，在一些实施例中，所述收敛单元，具体可以用于当所述目标特征图集合为所述剪枝后特征图集合时，在所述剪枝后特征图集合中筛选出未剪枝特征图，计算所述未剪枝特征图的均值，得到目标均值；当所述目标特征图集合为所述处理后特征图集合时，根据所述剪枝后特征图集合，对所述处理后特征图集合进行剪枝，并计算所述处理后特征图集合中未剪枝特征图的均值，得到目标均值。
可选的，在一些实施例中，所述收敛单元，具体可以用于在所述剪枝后特征图集合中筛选出已剪枝特征图；获取所述已剪枝特征图的身份标识；在所述处理后特征图集合中对所述身份标识对应的特征图进行剪枝，并计算所述处理后特征图集合中未剪枝特征图的均值，得到目标均值。
可选的，在一些实施例中，所述收敛单元，具体可以用于采用所述批归一化层计算所述修正后特征图集合中特征图的均值和方差；根据所述特征图的均值和方差，对所述修正后特征图集合中的特征图进行标准化处理，得到标准化特征图集合。
可选的，在一些实施例中，所述收敛单元，具体可以用于对所述标准化特征图集合进行缩放和平移处理，以训练所述批归一层的网络参数；根据训练结果，更新所述批归一层的网络参数，以收敛所述预设图像处理模型。
可选的，在一些实施例中，所述剪枝单元，具体可以用于根据预设剪枝系数，确定所述特征图集合中需要剪枝的特征图的剪枝数量；在所述特征图集合中选择所述剪枝数量对应的目标特征图；对所述目标特征图进行剪枝，得到剪枝后特征图集合。
可选的，在一些实施例中，所述剪枝单元，具体可以用于获取所述目标特征图在所述特征图集合中的目标位置；根据所述目标位置，生成所述特征图集合对应的掩码图；基于所述掩码图，将所述目标特征图的特征值清零，得到清零后特征图集合；根据所述预设剪枝系数，对所述清零后特征图集合进行补偿，得到剪枝后特征图集合。
可选的，在一些实施例中，所述处理单元，具体可以用于获取所述待处理图像；采用所述训练后图像处理模型对所述待处理图像进行特征提取，并对提取到的特征图进行归一化处理；对归一化后特征图进行特征处理，得到所述待处理图像的处理结果。
此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像处理方法。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
本发明实施例在从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果；由于该方案采用以批数据为单位，对特征图进行剪枝，并对剪枝后特征图的均值进行修正，可以大大提高批归一层在计算修正后特征图的均值和方差的准确性，从而避免方差偏移，因此，会大大提高图像处理模型对图像处理的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像处理方法的场景示意图；
图2是本发明实施例提供的图像处理方法的流程示意图；
图3是本发明实施例提供的特征提取的示意图；
图4是本发明实施例提供的单个残差网络模块的结构示意图；
图5是本发明实施例提供的多个残差网络模块的结构示意图；
图6是本发明实施例提供的单个密集网络模块的结构示意图；
图7是本发明实施例提供的多个密集网络模块的结构示意图；
图8是本发明实施例提供的多个卷积层组成的特征提取网络模块的结构示意图；
图9是本发明实施例提供的生成掩码图的流程示意图；
图10是本发明实施例提供的特征图剪枝的流程示意图；
图11是本发明实施例提供的第一类图像处理模型的结构示意图；
图12是本发明实施例提供的第二类图像处理模型的结构示意图；
图13是本发明实施例提供的第三类图像处理模型的结构示意图；
图14是本发明实施例提供的对特征图进行多次剪枝的过程示意图；
图15是本发明实施例提供的图像处理模型的另一流程示意图；
图16是本发明实施例提供的采用不同网络结构的图像处理模型对特征图进行多次剪枝的流程示意图；
图17是本发明实施例提供的图像处理装置的结构示意图；
图18是本发明实施例提供的图像处理装置的收敛单元的结构示意图；
图19是本发明实施例提供的图像处理装置的处理单元的结构示意图；
图20是本发明实施例提供的图像处理装置的另一结构示意图
图21是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置和计算机可读存储介质。其中，该图像处理装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
例如，参见图1，以图像处理装置集成在电子设备中为例，电子设备在从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，然后，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，再然后，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果。
其中，图像处理可以包括对图像进行分类或分割等处理方式。
以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算(PC，Personal Computer)等设备。
一种图像处理方法，包括：
从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果。
如图2所示，该图像处理方法的具体流程如下：
101、从训练样本集合中确定当前需要训练的批数据。
其中，批数据包括多个图像样本。该批数据中图像样本数量可以为大于2而小于训练样本中图像样本总数的任意正整数值，比如，训练样本集合中包括1000张图像样本时，批数据中图像样本的数量可以2至1000以内的任意正整数值，具体数量可以根据模型训练实际情况来选定。
例如，可以根据预设训练比例，在训练样本集合中确定需要训练的图像样本的数量，根据确定的图像样本数量，在训练样本集合中随机选择图像样本数量对应的图像样本，将这些被选中的图像样本作为当前需要训练的批数据。比如，预设训练比例为5％，训练样本集合中总共存在1000张图像样本，则确定当前需要训练的图像样本数量为50张，然后，在训练样本集合中随机选择同一类或者非同一类的图像样本50张，将被选中的50张图像样本作为批数据。还可以指定当前需要训练的图像样本的类型，将该指定类型的全部或部分图像样本作为当前需要训练的批数据，比如，根据设定，第一次训练动物类图像样本，训练样本集合中存在100张动物类图像样本，则可以将这100张动物类图像样本的全部或者部分作为当前需要训练的批数据。还可以指定每个类型的图像样本的数量，根据每个类型的图像样本的数量，在训练样本集合中随机选择该数量对应的图像样本，将不同类型的图像样本作为当前需要训练的批数据，比如，训练样本集合中存在5种类型的图像样本子集合，然后，设定每种类型的图像样本取10张进行训练，在5种类型的图像样本子集合中分别选择出10张图像样本，将不同类型的50张图像样本作为当前需要训练的批数据。
其中，从训练样本集合中选择批数据，每次训练的批数据可以是相同，也可以是不同。针对图像样本的选择，可以是有放回的选择，也可以是无放回的选择，比如，训练样本集合中一共包含1000张图像样本，第一次确定需要训练的批数据有100张图像样本，假设第二次确定需要训练的批数据有200张图像样本，则这200张图像样本可以包含上一次训练的100张图像样本中的任何一张，也可以不包含上一次训练的100张图像样本中的任一张。
102、采用预设图像处理模型对图像样本进行特征提取，得到特征图集合。
其中，特征图集合包括多个特征图，每一个特征图对应一个图像样本。对每一个图像样本进行特征提取，生成这个图像样本对应的特征图。
例如，采用预设图像处理模型对批数据中的每一张图像样本进行特征提取，得到该图像样本对应的特征图，该特征图可以由局部特征和全局特征融合，也可以由全局特征构成。将各个图像样本对应的特征图组成的集合作为特征图集合，在特征图集合中，每一张图像样本对应一个特征图，如图3所示。比如，批数据有5张图像样本，采用预设图像处理模型分别对5张图像样本进行特征提取，得到5个特征图，这5个特征图分别对应一张图像样本。
可选的，预设图像处理模型对图像样本进行特征提取的网络结构可以由多种，比如，如图4所示，可以采用残差网络模块对图像样本进行特征提取，首先采用卷积层对图像样本进行特征提取，然后，采用批归一层(BN层)对提取到初始特征进行标准化处理，最后采用激活层(ReLU)对标准化的特征进行处理，得到特征图。当然，也可以采用多个残差模块对图像样本进行多尺度多维度的特征提取，如图5所示，最后得到图像样本对应的特征图。还比如，如图6所示，还可以采用密集网络模块对图像样本进行特征提取，首先采用BN层对图像样本中的数据进行标准化，然后，采用激活层对标准化的数据进行处理，最后，采用卷积层对处理后的数据进行特征提取，得到图像样本的特征图。当然，也可以采用多个密集模块对图像样本进行多尺度多维度的特征提取，如图7所示，最后得到图像样本对应的特征图。还比如，可以直接采用一个卷积层直接对图像样本进行特征提取，还可以采用多个尺寸的卷积层串联构成特征提取网络模块对图像样本进行特征提取，如图8所示。
其中，需要说明的是，预设图像处理模型中对图像样本进行特征提取的网络结构可以有多种，只要可以对图像样本进行特征提取的网络层或多个网络层组成的网络模块，都可以作为预设图像处理模型中用于进行特征提取的网络结构。
103、对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合。
其中，剪枝也称之为网络剪枝，可以理解为对预设图像处理模型种的某些神经元进行干预，使得其停止运行，神经元停止运行后，该神经元处理对应的特征图的特征值也相应降为零，将这个过程作为对特征图进行剪枝，其实，剪枝并不是将这个特征图删除，而是改变这个特征图的特征值。
例如，根据预设剪枝系数，确定特征图集合中需要剪枝的特征图的剪枝数量，在特征图集合中选择剪枝数量对应的目标特征图，对该目标特征图进行剪枝，得到剪枝后特征图集合，具体可以如下：
S1、根据预设剪枝系数，确定特征图集合中需要剪枝的特征图的剪枝数量。
例如，获取预设剪枝系数，根据特征图集合中全部特征图的数量，确定特征图中需要剪枝的特征图的剪枝数量，比如，预设剪枝系数为0.2，特征图集合中一共有10张特征图，则确定特征图中需要剪枝的特征图的剪枝数量为2张。
S2、在特征图集合中选择剪枝数量对应的目标特征图。
例如，以剪枝数量为2张为例，在特征图集合中可以随机选择2张特征图，将这两张特征图作为需要被剪枝的目标特征图，还可以根据特征图集合中每个特征图的特征值的大小来选择需要被剪枝的目标特征图，比如，获取特征图集合中每张特征图对应的特征值的大小，可以将特征值最小的两张特征图作为目标特征图，还可以将特征值最大的两张特征图作为目标特征图，甚至还可以将最大和最小的特征图都作为目标特征图。
S3、对目标特征图进行剪枝，得到剪枝后特征图集合。
例如，获取目标特征图在特征图集合中的目标位置，根据目标位置，生成特征图集合对应的掩码图，基于该掩码图，将目标特征图的特征值清零，得到清零后特征图集合，根据预设剪枝系数，对清零后特征图集合进行补偿，得到剪枝后特征图集合。具体可以如下：
(1)获取目标特征图在特征图集合中的目标位置。
例如，可以将特征图集合看成一个大个矩阵，每个特征图对应的特征值为该矩阵的元素，根据这种对应关系，获取每个目标特征图在该矩阵中的位置，将矩阵中的位置作为目标特征图在特征图集合中的目标位置。
(2)根据目标位置，生成特征图集合对应的掩码图。
其中，掩码图又可以为掩膜图，主要用于对图像掩膜或者对数据掩膜，具体采用选定的图像、图形或物体，对待处理的图像或数据(全部或局部)进行遮挡，来控制图像/数据处理的区域或处理过程。
例如，首选根据目标位置，确定在图像特征集合中不用剪枝的特征图的位置。将不用剪枝的特征图对应的区域设定为感兴趣区域，根据感兴趣区域的形状或者区域图像，生成与特征图集合尺寸对应的掩码图，该掩掩码图中感兴趣区域的值可以为1，感兴趣区域之外的值为0，如图9所示。
(3)基于掩码图，将目标特征图的特征值清零，得到清零后特征图集合。
例如，将掩码图对应的矩阵与特征图集合对应的矩阵相乘，就可以将特征图集合中目标特征图的特征值清零，如图10所示，未剪枝特征图的特征值为xi，得到清零后特征图集合。
(4)根据预设剪枝系数，对清零后特征图集合进行补偿，得到剪枝后特征图集合。
例如，由于剪枝过程只存在于模型训练过程，在模型测试和运行过程中是不会对特征图进行剪枝的，因此，在训练过程中，尤其是对特征图进行剪枝后，批数据中特征值不为零的特征图的数量变少了，而测试过程中又不会出现这种情况，因此，需要对清零后特征图集合进行补偿，以使得在训练和测试时，图像处理模型剪枝后的网络层有大致相同的期望。补偿过程的可以为，将清零后特征图集合除以剪枝系数，得到剪枝后特征图集合。
104、根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型。
其中，批归一化处理可以理解为一批数据进行归一化处理，通常采用批归一化层(Batch Normalization，BN)进行批归一化处理，BN层通常是对中间层的数据进行归一化处理。
例如，根据剪枝后特征为那个图集合，对输入至批归一层(BN层)的目标特征集合的均值进行修正，得到修正后特征图集合，采用BN层对修正后特征图集合中的特征图进行批归一化处理，根据批归一化处理结果，更新批归一层的网络参数，以收敛图像处理模型。具体可以如下：
C1、根据剪枝后特征图集合，对输入至批归一层的目标特征图集合的均值进行修正，得到修正后特征图集合。
其中，目标特征图集合可以为即将要输入到BN层的特征图的集合，比如，剪枝后特征图集合需要输入的下一个网络层为BN层时，此时，剪枝后特征图就可以为目标特征图集合，如果剪枝后特征图集合还需要经过其他网络层进行特征处理之后，才可以到达BN层时，可以将剪枝后特征图集合经过其他网络层特征处理结束后得到特征图集合作为目标特征图。
例如，可以根据剪枝后特征集合和图像处理模型的结构，确定输入至BN层的目标特征图集合，计算目标特征图集合中未剪枝特征图的均值，得到目标均值，根据目标均值，对目标特征图集合的均值进行修正，得到修正后特征图集合。具体可以如下：
(1)根据剪枝后特征图集合和图像处理模型的结构，确定输入至BN层的目标特征图集合。
例如，根据图像处理模型的结构，识别出剪枝后特征图集合将要输入的网络层的类型，比如，当图像处理模型结构包含多个网络层时，根据网络图像处理模型的结构，来识别进行特征提取和剪枝处理后，即将要输入的网络层的类型。当将要输入的网络层为BN层时，如图11所示，可以发现，经过特征提取和剪枝处理后，剪枝后特征图集合即将输入的就是BN层，此时，可以确定剪枝后特征图集合就为目标特征图集合。当将要输入的网络层为其他网络层时，返回执行识别其他网络层的下一个网络层的步骤，直到识别出网络层的类型为BN层为止，将剪枝后特征图集合经过BN层之前的网络层进行特征处理得到的处理后特征图集合作为目标特征图集合。比如，在如图12所示的网络结构中，可以发现经过特征提取和剪枝处理后，剪枝后特征图集合将要输入的网络层为卷积层，将剪枝后特征图集合输入至该卷积层，并返回执行识别该卷积层的下一个网络层的类型的步骤，当识别出该卷积层的下一个网络层就为BN层，在这种情况下，就可以将通过卷积层对剪枝后特征图集合进行特征处理后得到的处理后特征图作为目标特征图集合。
其中，对于网络层类型的识别并确定目标特征图集合，在此需要总结一下，假设图像处理模型一共有n层网络层，如图13所示，在第m层进行剪枝，得到剪枝后特征图集合，在图像处理模型剩下的(n-m)个网络层中识别出BN层，当识别出m层的下一个网络层就为BN层时，即(m+1)层为BN层时，此时剪枝后特征图集合就为即将要输入至BN层的目标特征图集合，当m层的下一个网络层为其他网络层时，即(m+1)层为其他网络层时，此时，将剪枝后特征图集合输入至(m+1)层进行特征处理，得到处理后特征图集合，接着返回识别(m+2)层的类型，当(m+2)层为BN层时，就可以将处理后特征图集合作为目标特征图集合，反之，当(m+2)层还是为其他网络层时，继续识别(m+3)层的类型，直到识别出图像处理模型中的BN层时，将剪枝后特征图集合通过BN层之前的网络层进行特征处理后得到的处理后特征图集合作为目标特征图集合。
(2)计算目标特征图集合中未剪枝特征图的均值，得到目标均值。
例如，当目标特征图集合为剪枝后特征图集合时，此时，只需要在剪枝后特征图集合中筛选出未剪枝特征图，计算未剪枝特征图的均值，将未剪枝特征图的特征值的均值作为目标均值。比如，剪枝后特征图集合中共有10个特征图，其中有三个特征图被剪枝，特征值为0，此时，只需要将另外没被剪枝的7个特征图筛选出来，并计算这7个未剪枝特征图的特征值的均值(平均值)，将这个均值作为目标均值。
可选的，当目标特征图为处理后特征图集合时，根据剪枝后特征图集合，对处理后特征图集合进行剪枝，并计算处理后特征图集合中未剪枝特征图的均值，得到目标均值，比如，在剪枝后特征图集合中筛选出已剪枝特征图，获取已剪枝特征图的身份标识，譬如，在剪枝后特征图集合中有三个被剪枝的特征图，身份标识分别为特征图A、特征图B和特征图C，在处理后特征图集合中对特征图A、特征图B和特征图C再次剪枝，将处理后特征图几个中特征图A、特征图B和特征图C的特征值降为零。然后，在处理后特征图集合中，计算剩下的未被剪枝的未剪枝特征图的均值，将处理后特征图集合中未剪枝特征图的均值作为目标均值。
(3)根据目标均值，对目标特征图集合的均值进行修正，得到修正后特征图集合。
例如，在目标特征图集合中识别出已剪枝特征图的位置，将目标均值填充至已剪枝特征图的位置，使得已剪枝特征图的特征值为目标均值，得到修正后特征图集合，比如，目标特征图集合中特征图A、特征图B和特征图C是已经被剪枝的已剪枝特征图，在目标特征图中是被出特征图A、特征图B和特征图C的位置，将就算出的目标均值填充至特征图A、特征图B和特征图C的位置，使得特征图A、特征图B和特征图C的特征值为目标均值，得到修正后特征图集合。
S2、采用批归一层对修正后特征图集合中的特征图进行批归一化处理。
例如，采用BN层计算修正后特征图集合中特征图的均值和方差，比如，首先采用BN层计算修正后特征图集合中特征图的均值，计算均值的公式通常为：
Figure BDA0002392783000000141
其中，μ是均值；m是该层一个目标特征图集合包含特征图的数量，也即样本数据大小；xi是该层第i个特征图的特征值。
由于，在修正后特征图集合中，已剪枝特征图的特征值已被修正为未剪枝特征图的均值了，因此，对修正后特征图集合计算均值，可以采用只计算修正后特征图集合中未剪枝特征图的均值即可，所以，采用BN层计算修正后特征图集合中特征图的均值可以采用如下计算公式来计算：
Figure BDA0002392783000000142
其中，其中，n是该层batch中保留的feature的数量；xi是该层保留的未剪枝特征图中的第i个特征图的特征值。因为保留的特征图的特征值没有任何损失，因此它们的均值可以反应原训练集合与测试集合的特征。因此BN层使用这种方式计算可以达到方差无偏移的效果。
根据计算出的均值，来计算处理后特征图集合中特征图的方差，计算方差的公式如下所示：
Figure BDA0002392783000000143
其中，σ是方差，m是该层一个目标特征图集合包含特征图的数量，xi是该层第i个特征图的特征值。
根据修正后特征图集合中特征图的均值和方差，对修正后特征图集合中的特征图进行标准化处理，得到标准化特征图集合。比如，可以根据均值和方差，对修正后特征图集合中的特征图进行正态化，对修正后特征图集合中特征图的特征值进行正态化处理，使得特征值的分布满足设定的正态化分布。
S3、根据批归一化处理结果，更新批归一层的网络参数，以收敛预设图像处理模型。
例如，对标准化特征图集合进行缩放和平移处理，以训练BN层的网络参数，比如，引入BN层的可学习重构参数γ和β，分别对标准化特征图集合中特征图进行不同程度的缩放和平移处理，对重构参数γ和β进行训练。根据训练结果，更新BN层的网络参数，比如，采用多次缩放和平移处理，对重构参数γ和β完成训练后，将训练好的γ和β参数的值进行更新，完成BN层的网络参数更新，以收敛预设图像处理模型。
其中，对提取到的特征图进行剪枝，在一个预设图像模型处理模型，可以剪枝一次，也可以剪枝多次，剪枝的目的主要在于通过网络正则化以提高预设图像处理模型的性能，避免预设图像处理模型产生过拟合等现象，因此，在剪枝后，当预设图像处理模型中存在BN层时，需要对输入BN层的目标特征图集合的均值进行修正，当预设图像处理模型中不存在BN层时，无需对剪枝后特征图集合的均值进行修正。当对预设图像处理模型进行多次剪枝时，如图14所示，也采用同样的处理方式，当一次剪枝完成后，继续第二次剪枝时，仍然需要继续识别BN层，当存在BN层时，对输入至BN层的目标特征图集合的均值进行修正，当不存在BN层时，无需对再次剪枝后特征图集合进行修正，直到完成整个预设图像处理模型的训练。当在一个批数据的一次训练中存在多次剪枝时，剪枝比例会发生变化，一般是逐步变大，比如，第一次剪枝时，剪枝比例可以为5％，可能第二次的剪枝比例就可以为10％，依次类推，但是增大的幅度需要根据实际项目的具体需要来设定。
105、返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至预设图像处理模型收敛完毕，得到训练后图像处理模型。
例如，当确定的当前需要训练的批数据经过特征提取、一次或多次特征图剪枝和特征图集合归一化处理，预设图像处理模型第一次收敛完成后，返回再次执行从训练样本集合中确定再次需要训练的批数据，对再次需要训练的批数据进行特征提取、特征图剪枝和批归一化处理，预设图像处理模型第二次收敛完成，如果训练样本集合中的数据没有训练完，或者预设图像处理模型没有收敛完成，就可以继续从训练样本集合中确定新的需要训练的批数据继续训练，训练步骤跟之前一样，特征提取，特征图剪枝和批归一化处理，直到预设图像处理模型收敛完毕。预设图像处理模型收敛完毕的条件可以为训练样本集合中的数据通过批数据全部训练完成，还可以设定预设图像处理模型的网络参数已经达到训练要求，也可以根据实际情况设定预设图像处理模型收敛完毕的条件。当达到收敛完毕的条件时，确定此时预设图像处理模型训练完成，得到训练后图像处理模型。
其中，当收敛条件为训练样本集合中的数据通过批数据全部训练完成，可以为通过批数据的形式对训练样本集合中的每个图像样本都训练一次或者多次，比如，训练样本集合中存在1000张图像样本，每次需要训练的批数据为100张，如果批数据采用无放回的随机抽取，只需要在训练样本集合中随机选择10个批数据分别进行训练，即可完成训练样本集合中全部图像样本的训练，如果采用有放回的随机抽取，在这种情况下，就可能需要较多批次的批数据才能完成训练样本集合中图像样本的训练。当然，除了随机抽取，还可以采用按照图像样本类型进行抽取批数据，甚至还可以每次指定需要抽取的图像样本，组成批数据进行训练。
106、基于训练后图像处理模型对待处理图像进行处理，得到处理结果。
例如，可以先获取待处理图像，采用训练后图像处理模型对待处理图像进行特征提取，并采用训练后图像处理模型的BN层对提取到的特征图进行归一化处理，对归一化后特征图进行特征处理，得到待处理图像的处理结果，具体过程可以如下：
(1)获取待处理图像。
其中，待处理图像可以为需要进行分类或分割的图像，可以是一张或多张图像。
例如，可以直接获取待处理图像，比如，用户通过终端将需要处理的图像上传至图像处理装置，假设用户同时需要处理多张图像时，可以将多张图像存储至第三方数据库，然后，向图像处理装置发送图像处理请求，该图像处理请求中可以携带存储在第三方数据库中待处理图像的存储位置，图像处理装置根据图像处理请求中携带的存储地址，在第三方数据库中提取到待处理图像。
(2)采用训练后图像处理模型对待处理图像进行特征提取，并对提取到的特征图进行归一化处理。
例如，可以采用训练后图像处理模型的特征提取网络模块对待处理图像进行特征提取，该特征提取网络模块可以为残差模块、密集模块或者具有特征提取的一个或多个网络层组成的网络模块等。对待处理图像进行多尺度或多维度的特征提取，得到每张待处理图像对应的特征图。根据训练后图像处理模型的结构，将特征图输入至特征提取网络模块的下一个网络层，当下一个网络层为BN层时，对特征图进行归一化处理，得到归一化处理结果，当下一个网络层为其他网络层时，采用其他网络层对特征图进行特征处理操作，并将处理后特征图输入至下一个网络层继续特征处理，直到下一个网络层为BN层时，将BN层之前网络层处理后的特征图输入至BN层进行归一化处理。比如，计算处理后特征图中特征的均值和方差，根据计算的均值和方差，对特征图中的特征进行标准化处理，根据训练好的BN层网络参数对标准化处理后特征图中的数据进行输出，得到归一化后特征图。
其中，当图像处理模型中存在多个BN层时，可以对特征图进行多次归一化处理，将经过最后一个BN层处理后的特征图作为归一化后特征图。
(3)对归一化后特征图进行特征处理，得到待处理图像的处理结果。
例如，对归一化后特征图进行特征处理，特征处理可以根据处理类型不同，采用不同的处理的方式，比如，对待处理图像进行分类处理时，对归一化后特征图进行识别，以判断归一化后特征图对应的待处理图像的具体内容，根据识别出的待处理图像内容，对待处理图像进行分类处理。又比如，对待处理图像进行分割处理时，对归一化后特征图进行区域划分，譬如，医学影像图像中的各个器官对应的区域，识别不同区域内容的器官的实际情况等，根据识别出的情况，可以分割出发生病变的器官等处理方式。进而得到待处理图像的分类或分割结果。
其中，针对图像处理模型来说，训练和图像处理中存在的不同情况可以总结为，在训练中需要对批数据进行特征提取，并将提取到的特征进行一次或多次剪枝，在剪枝完成后，如果识别到将要输入的网络层为BN层时，需要在输入到BN层之前，对剪枝后特征图集合的均值进行修正，才能输入至BN层。而在图像处理模型的测试和使用过程中，无需对提取到的特征图进行剪枝，因此，在图像处理模型的测试和使用过程中，也不需要对提取到的特征图集合的均值进行修正。
可选的，针对图像具体处理方法来说，训练后图像处理模型可以应用于图像分类或分割处理上，此时，图像处理方法可以包括获取待分类或分割处理图像，采用训练后图像处理模型对待分类或分割处理图像进行特征提取，得到待处理图像对应的特征图，训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，该批数据包括多个图像样本，剪枝后特征集合为批数据中图像样本对应的特征图被剪枝后得到的特征图集合，根据特征图，识别待分类或分割处理图像的内容，并根据识别结果，对待处理图像进行分类或分割处理。
可选的，还可以将待处理图像的处理结果采用区块链进行存储，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。由以上可知，本申请实施例在从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果；由于该方案采用以批数据为单位，对特征图进行剪枝，并对剪枝后特征图的均值进行修正，可以大大提高批归一层在计算修正后特征图的均值和方差的准确性，从而避免方差偏移，因此，会大大提高图像处理模型对图像处理的准确性。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该图像处理装置具体集成在电子设备，电子设备为服务器，图像处理模型中包含多个残网络差模块或密集网络模块为例进行说明。
如图15所示，一种图像处理方法，具体流程如下：
201、服务器从训练样本集合中确定当前需要训练的批数据。
例如，服务器可以根据预设训练比例，在训练样本集合中确定需要训练的图像样本的数量，根据确定的图像样本数量，在训练样本集合中随机选择图像样本数量对应的图像样本，将这些被选中的图像样本作为当前需要训练的批数据。还可以指定当前需要训练的图像样本的类型，将该指定类型的全部或部分图像样本作为当前需要训练的批数据。还可以指定每个类型的图像样本的数量，根据每个类型的图像样本的数量，在训练样本集合中随机选择该数量对应的图像样本，将不同类型的图像样本作为当前需要训练的批数据。
202、服务器采用预设图像处理模型对图像样本进行特征提取，得到特征图集合。
例如，服务器可以采用预设图像处理模型中的残差网络模块或密集网络模块对图像样本进行特征提取，针对每一张图像样本，提取到一张特征图，将提取到的特征图组合为特征图集合。当采用残差网络模块对图像样本进行特征提取时，如图4所示，首先采用卷积层对图像样本进行特征提取，然后，采用批归一层(BN层)对提取到初始特征进行标准化处理，最后采用激活层(ReLU)对标准化的特征进行处理，得到特征图。当然，也可以采用多个残差模块对图像样本进行多尺度多维度的特征提取，如图5所示，最后得到图像样本对应的特征图。当采用密集网络模块对图像样本进行特征提取时，如图6所示，首先采用BN层对图像样本中的数据进行标准化，然后，采用激活层对标准化的数据进行处理，最后，采用卷积层对处理后的数据进行特征提取，得到图像样本的特征图。当然，也可以采用多个密集模块对图像样本进行多尺度多维度的特征提取，如图7所示，最后得到图像样本对应的特征图。
203、服务器对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合。
例如，服务器根据预设剪枝系数，确定特征图集合中需要剪枝的特征图的剪枝数量，在特征图集合中选择剪枝数量对应的目标特征图，对该目标特征图进行剪枝，得到剪枝后特征图集合，具体可以如下：
(1)服务器根据预设剪枝系数，确定特征图集合中需要剪枝的特征图的剪枝数量。
例如，获取预设剪枝系数，根据特征图集合中全部特征图的数量，确定特征图中需要剪枝的特征图的剪枝数量。
(2)服务器在特征图集合中选择剪枝数量对应的目标特征图。
例如，以剪枝数量为2张为例，服务器在特征图集合中可以随机选择2张特征图，将这两张特征图作为需要被剪枝的目标特征图，还可以根据特征图集合中每个特征图的特征值的大小来选择需要被剪枝的目标特征图，比如，获取特征图集合中每张特征图对应的特征值的大小，可以将特征值最小的两张特征图作为目标特征图，还可以将特征值最大的两张特征图作为目标特征图，甚至还可以将最大和最小的特征图都作为目标特征图。
(3)服务器对目标特征图进行剪枝，得到剪枝后特征图集合。
例如，可以将特征图集合看成一个大个矩阵，每个特征图对应的特征值为该矩阵的元素，服务器根据这种对应关系，获取每个目标特征图在该矩阵中的位置，将矩阵中的位置作为目标特征图在特征图集合中的目标位置。根据目标位置，确定在图像特征集合中不用剪枝的特征图的位置。将不用剪枝的特征图对应的区域设定为感兴趣区域，根据感兴趣区域的形状或者区域图像，生成与特征图集合尺寸对应的掩码图，该掩掩码图中感兴趣区域的值可以为1，感兴趣区域之外的值为0。将掩码图对应的矩阵与特征图集合对应的矩阵相乘，就可以将特征图集合中目标特征图的特征值清零，得到清零后特征图集合。将清零后特征图集合除以剪枝系数，得到剪枝后特征图集合。
204、服务器根据剪枝后特征图集合，对输入至批归一层的目标特征图集合的均值进行修正，得到修正后特征图集合。
例如，服务器可以根据剪枝后特征集合和图像处理模型的结构，确定输入至BN层的目标特征图集合，计算目标特征图集合中未剪枝特征图的均值，得到目标均值，根据目标均值，对目标特征图集合的均值进行修正，得到修正后特征图集合。具体可以如下：
(1)服务器根据剪枝后特征图集合和图像处理模型的结构，确定输入至BN层的目标特征图集合。
例如，根据图像处理模型的结构，服务器识别出剪枝后特征图集合将要输入的网络层的类型，比如，当图像处理模型由多个残差网络模块组成时，如图11所示，可以确定经过特征提取和剪枝处理后，剪枝后特征图集合即将输入的就是BN层，此时，可以认定剪枝后特征图集合就为目标特征图集合。比如，当图像处理模型由多个密集网络模块组成时，如图12所示，可以发现经过特征提取和剪枝处理后，剪枝后特征图集合将要输入的网络层为卷积层，将剪枝后特征图集合输入至该卷积层，并返回执行识别该卷积层的下一个网络层的类型的步骤，当识别出该卷积层的下一个网络层就为BN层，在这种情况下，就可以将通过卷积层对剪枝后特征图集合进行特征处理后得到的处理后特征图作为目标特征图集合。
(2)服务器计算目标特征图集合中未剪枝特征图的均值，得到目标均值。
例如，当目标特征图集合为剪枝后特征图集合时，此时，服务器只需要在剪枝后特征图集合中筛选出未剪枝特征图，计算未剪枝特征图的均值，将未剪枝特征图的特征值的均值作为目标均值。比如，剪枝后特征图集合中共有10个特征图，其中有三个特征图被剪枝，特征值为0，此时，只需要将另外没被剪枝的7个特征图筛选出来，并计算这7个未剪枝特征图的特征值的均值(平均值)，将这个均值作为目标均值。
可选的，当目标特征图为处理后特征图集合时，服务器根据剪枝后特征图集合，对处理后特征图集合进行剪枝，并计算处理后特征图集合中未剪枝特征图的均值，得到目标均值，比如，在剪枝后特征图集合中筛选出已剪枝特征图，获取已剪枝特征图的身份标识，譬如，在剪枝后特征图集合中有三个被剪枝的特征图，身份标识分别为特征图A、特征图B和特征图C，在处理后特征图集合中对特征图A、特征图B和特征图C再次剪枝，将处理后特征图几个中特征图A、特征图B和特征图C的特征值降为零。然后，在处理后特征图集合中，计算剩下的未被剪枝的未剪枝特征图的均值，将处理后特征图集合中未剪枝特征图的均值作为目标均值。
(3)服务器根据目标均值，对目标特征图集合的均值进行修正，得到修正后特征图集合。
例如，服务器在目标特征图集合中识别出已剪枝特征图的位置，将目标均值填充至已剪枝特征图的位置，使得已剪枝特征图的特征值为目标均值，得到修正后特征图集合，比如，目标特征图集合中特征图A、特征图B和特征图C是已经被剪枝的已剪枝特征图，在目标特征图中是被出特征图A、特征图B和特征图C的位置，将就算出的目标均值填充至特征图A、特征图B和特征图C的位置，使得特征图A、特征图B和特征图C的特征值为目标均值，得到修正后特征图集合。
205、服务器采用批归一层对修正后特征图集合中的特征图进行批归一化处理。
例如，在修正后特征图集合中，已剪枝特征图的特征值已被修正为未剪枝特征图的均值了，因此，服务器对修正后特征图集合计算均值，可以采用只计算修正后特征图集合中未剪枝特征图的均值即可，所以，采用BN层计算修正后特征图集合中特征图的均值可以采用如下计算公式来计算：
Figure BDA0002392783000000231
其中，其中，n是该层batch中保留的feature的数量；xi是该层保留的未剪枝特征图中的第i个特征图的特征值。因为保留的特征图的特征值没有任何损失，因此它们的均值可以反应原训练集合与测试集合的特征。因此BN层使用这种方式计算可以达到方差无偏移的效果。
根据计算出的均值，来计算处理后特征图集合中特征图的方差，计算方差的公式如下所示：
Figure BDA0002392783000000232
其中，σ是方差，m是该层一个目标特征图集合包含特征图的数量，xi是该层第i个特征图的特征值。
根据修正后特征图集合中特征图的均值和方差，对修正后特征图集合中的特征图进行标准化处理，得到标准化特征图集合。比如，可以根据均值和方差，对修正后特征图集合中的特征图进行正态化，对修正后特征图集合中特征图的特征值进行正态化处理，使得特征值的分布满足设定的正态化分布。
206、服务器根据批归一化处理结果，更新批归一层的网络参数，以收敛预设图像处理模型。
例如，服务器对标准化特征图集合进行缩放和平移处理，以训练BN层的网络参数，比如，引入BN层的可学习重构参数γ和β，分别对标准化特征图集合中特征图进行不同程度的缩放和平移处理，对重构参数γ和β进行训练。根据训练结果，更新BN层的网络参数，比如，采用多次缩放和平移处理，对重构参数γ和β完成训练后，将训练好的γ和β参数的值进行更新，完成BN层的网络参数更新，以收敛预设图像处理模型。
其中，当图像处理模型的网络结构中包含多个残差网络模块或密集网络模块时，可以在每两个残差网络模块和密集网络模块组成的双层网络结构中对特征图进行多次剪枝，并对将入输入至BN层的特征图集合进行均值的修正，如图16所示。假设对图像处理模型进行多次剪枝后，剪枝比例会发生变化，一般是逐步变大。
207、服务器返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至预设图像处理模型收敛完毕，得到训练后图像处理模型。
例如，当服务器确定的当前需要训练的批数据经过特征提取、一次或多次特征图剪枝和特征图集合归一化处理，预设图像处理模型第一次收敛完成后，返回再次执行从训练样本集合中确定再次需要训练的批数据，对再次需要训练的批数据进行特征提取、特征图剪枝和批归一化处理，预设图像处理模型第二次收敛完成，如果训练样本集合中的数据没有训练完，或者预设图像处理模型没有收敛完成，就可以继续从训练样本集合中确定新的需要训练的批数据继续训练，训练步骤跟之前一样，特征提取，特征图剪枝和批归一化处理，直到预设图像处理模型收敛完毕。预设图像处理模型收敛完毕的条件可以为训练样本集合中的数据通过批数据全部训练完成，还可以设定预设图像处理模型的网络参数已经达到训练要求，也可以根据实际情况设定预设图像处理模型收敛完毕的条件。当达到收敛完毕的条件时，确定此时预设图像处理模型训练完成，得到训练后图像处理模型。
208、服务器基于训练后图像处理模型对待处理图像进行处理，得到处理结果。
例如，服务器可以先获取待处理图像，采用训练后图像处理模型对待处理图像进行特征提取，并采用训练后图像处理模型的BN层对提取到的特征图进行归一化处理，对归一化后特征图进行特征处理，得到待处理图像的处理结果，具体过程可以如下：
(1)服务器获取待处理图像。
例如，用户通过终端将需要处理的图像上传至服务器，假设用户同时需要处理多张图像时，可以将多张图像存储至第三方数据库，然后，向服务器发送图像处理请求，该图像处理请求中可以携带存储在第三方数据库中待处理图像的存储位置，服务器根据图像处理请求中携带的存储地址，在第三方数据库中提取到待处理图像。
(2)服务器采用训练后图像处理模型对待处理图像进行特征提取，并对提取到的特征图进行归一化处理。
例如，服务器可以采用训练后图像处理模型的特征提取网络模块对待处理图像进行特征提取，该特征提取网络模块可以为残差模块或密集模块等。对待处理图像进行多尺度或多维度的特征提取，得到每张待处理图像对应的特征图。根据训练后图像处理模型的结构，将特征图输入至特征提取网络模块的下一个网络层，当下一个网络层为BN层时，对特征图进行归一化处理，得到归一化处理结果，当下一个网络层为其他网络层时，采用其他网络层对特征图进行特征处理操作，并将处理后特征图输入至下一个网络层继续特征处理，直到下一个网络层为BN层时，将BN层之前网络层处理后的特征图输入至BN层进行归一化处理。比如，计算处理后特征图中特征的均值和方差，根据计算的均值和方差，对特征图中的特征进行标准化处理，根据训练好的BN层网络参数对标准化处理后特征图中的数据进行输出，得到归一化后特征图。
(3)服务器对归一化后特征图进行特征处理，得到待处理图像的处理结果。
例如，服务器对归一化后特征图进行特征处理，特征处理可以根据处理类型不同，采用不同的处理的方式，比如，服务器对待处理图像进行分类处理时，对归一化后特征图进行识别，以判断归一化后特征图对应的待处理图像的具体内容，根据识别出的待处理图像内容，对待处理图像进行分类处理。又比如，服务器对待处理图像进行分割处理时，对归一化后特征图进行区域划分，譬如，医学影像图像中的各个器官对应的区域，识别不同区域内容的器官的实际情况等，根据识别出的情况，可以分割出发生病变的器官等处理方式。进而得到待处理图像的分类或分割结果。
可选的，当训练后图像处理模型具体应用于图像分类或分割处理时，图像分类或分割处理方法可以如下：
(1)服务器获取待分类或分割处理图像。
例如，可以直接获取待分类或分割处理图像，比如，用户直接将待分类或分割处理图像上传至服务器，还可以通过发送分类或分割请求，该分类或分割请求携带待分类或分割处理图像。
(2)服务器采用训练后图像处理模型对待分类或分割处理图像进行特征提取，得到待分类或分割处理图像对应的特征图。
其中，训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成。批数据包括多个图像样本。剪枝后特征图集合为批数据中图像样本对应的特征图被剪枝后得到的特征图集合。
例如，服务器可以采用训练后图像处理模型对待分类或分割处理图像进行特征提取，比如，可以采用残差网络模块、密集网络模块或者其他特征提取网络模块，对待分类或待分割处理图像进行多维度的特征提取。将提取到局部特征和全局特征可以进行融合，得到待分类或分割处理图像对应的特征图。
(3)服务器根据特征图，识别待分类或分割处理图像的内容，并根据识别结果，对待处理图像进行分类或分割处理。
例如，服务器根据提取到的待分类或分割处理图像对应的特征图，识别待分类或分割图像的内容，比如，可以采用全连接层或其他分类器对特征图中进行识别，根据识别结果，确定待分类或分割处理图像的内容，比如，当识别出特征图中的特征为狗对应的特征时，可以确定待分类或分割处理图像的内容为动物，具体为动物中的狗。此时，如果需要对待分类图像进行分类时，就可以根据识别到的待分类图像的具体内容，对待分类图像进行具体分类。比如，当识别出特征图中的特征对应的是人体中不同器官的影像时，可以确定待分割图像为一种人体器官的医学影像，此时，如果需要对待分割图像进行分割时，就可以根据识别到的待分割图像的具体内容，对待分割图像进行分割，比如，根据各个器官的轮廓和位置，将待分割图像分割成不同器官的子图像等。
可选的，服务器还可以将待处理图像的处理结果采用区块链进行存储，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
由以上可知，本实施例的服务器在从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果；由于该方案采用以批数据为单位，对特征图进行剪枝，并对剪枝后特征图的均值进行修正，可以大大提高批归一层在计算修正后特征图的均值和方差的准确性，从而避免方差偏移，因此，会大大提高图像处理模型对图像处理的准确性。
为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置可以集成在网络设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如，如图17所示，该图像处理装置可以包括确定单元301、提取单元302、剪枝单元303、收敛单元304、执行单元305和处理单元306，如下：
(1)确定单元301；
确定单元301，用于从训练样本集合中确定当前需要训练的批数据，该批数据包括多个图像样本。
比如，确定单元301，具体可以用于根据预设训练比例，在训练样本集合中确定需要训练的图像样本的数量，根据确定的图像样本数量，在训练样本集合中随机选择图像样本数量对应的图像样本，将这些被选中的图像样本作为当前需要训练的批数据。还可以指定当前需要训练的图像样本的类型，将该指定类型的全部或部分图像样本作为当前需要训练的批数据。
(2)提取单元302；
提取单元302，用于采用预设图像处理模型对图像样本进行特征提取，得到特征图集合。
例如，提取单元302具体可以用于采用预设图像处理模型对批数据中的每一张图像样本进行特征提取，得到该图像样本对应的特征图，该特征图可以由局部特征和全局特征融合，也可以由全局特征构成。将各个图像样本对应的特征图组成的集合作为特征图集合，在特征图集合中，每一张图像样本对应一个特征图。
(3)剪枝单元303；
剪枝单元303，用于对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合。
例如，剪枝单元303，具体可以用于根据预设剪枝系数，确定特征图集合中需要剪枝的特征图的剪枝数量，在特征图集合中选择剪枝数量对应的目标特征图，获取目标特征图在特征图集合中的目标位置，根据目标位置，生成特征图集合对应的掩码图，基于掩码图，将目标特征图的特征值清零，得到清零后特征图集合，根据预设剪枝系数，对清零后特征图集合进行补偿，得到剪枝后特征图集合。
(4)收敛单元304；
收敛单元304，用于根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型。
其中，收敛单元304可以包括修正子单元3041、批归一化子单元3042和收敛子单元3043，如图18所示，具体如下：
修正子单元3041，用于根据剪枝后特征图集合，对输入至批归一层的目标特征图集合的均值进行修正，得到修正后特征图集合；
批归一化单元3042，用于采用批归一层对修正后特征图集合中的特征图进行批归一化处理；
收敛子单元3043，用于根据批归一化处理结果，更新批归一层的网络参数，以收敛预设图像处理模型。
例如，修正子单元3041根据剪枝后特征图集合，对输入至批归一层的目标特征图集合的均值进行修正，得到修正后特征图集合，批归一化单元3042采用批归一层对修正后特征图集合中的特征图进行批归一化处理，收敛子单元3043根据批归一化处理结果，更新批归一层的网络参数，以收敛预设图像处理模型。
(5)执行单元305；
执行单元305，用于返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至预设图像处理模型收敛完毕，得到训练后图像处理模型。
例如，执行单元305，具体可以用于当确定的当前需要训练的批数据经过特征提取、一次或多次特征图剪枝和特征图集合归一化处理，预设图像处理模型第一次收敛完成后，返回再次执行从训练样本集合中确定再次需要训练的批数据，对再次需要训练的批数据进行特征提取、特征图剪枝和批归一化处理，预设图像处理模型第二次收敛完成，如果训练样本集合中的数据没有训练完，或者预设图像处理模型没有收敛完成，就可以继续从训练样本集合中确定新的需要训练的批数据继续训练，训练步骤跟之前一样，特征提取，特征图剪枝和批归一化处理，直到预设图像处理模型收敛完毕。
(6)处理单元306；
处理单元306，用于基于训练后图像处理模型对待处理图像进行处理，得到处理结果。
其中，处理单元306还可以包括获取子单元3061、特征提取子单元3062和特征处理子单元3063，如图19所示，具体如下：
获取子单元3061，用于获取待处理图像；
特征提取子单元3062，用于采用训练后图像处理模型对待处理图像进行特征提取，并对提取到的特征图进行归一化处理；
特征处理子单元3063，用于对归一化后特征图进行特征处理，得到待处理图像的处理结果。
例如，获取子单元3061获取待处理图像，特征提取子单元3062采用训练后图像处理模型对待处理图像进行特征提取，并对提取到的特征图进行归一化处理，特征处理子单元3063对归一化后特征图进行特征处理，得到待处理图像的处理结果。
可选的，还可以提供另一种图像处理装置，具体应用于图像分类或分割处理中，如图20所示，主要包括获取单元307、特征提取单元308和识别单元309，具体如下：
获取单元307，用于获取待处理图像；
特征提取单元，用于采用训练后图像处理模型对待处理图像进行特征提取，得到待处理图像对应的特征图，训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，批数据包括多个图像样本，剪枝后特征图集合为所述批数据中图像样本对应的特征图被剪枝后得到的特征图集合；
识别单元309，用于根据特征图，识别待处理图像的内容，并根据识别结果，对待处理图像进行分类或分割处理。
例如，获取单元307获取待处理图像，特征提取单元308采用训练后图像处理模型对待处理图像进行特征提取，得到待处理图像对应的特征图，训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，批数据包括多个图像样本，剪枝后特征图集合为所述批数据中图像样本对应的特征图被剪枝后得到的特征图集合，识别单元309根据特征图，识别待处理图像的内容，并根据识别结果，对待处理图像进行分类或分割处理。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由以上可知，本实施例确定单元301在从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，提取单元302采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，剪枝单元303对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，收敛单元304根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，执行单元305返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，处理单元306基于训练后图像处理模型对待处理图像进行处理，得到处理结果；由于该方案采用以批数据为单位，对特征图进行剪枝，并对剪枝后特征图的均值进行修正，可以大大提高批归一层在计算修正后特征图的均值和方差的准确性，从而避免方差偏移，因此，会大大提高图像处理模型对图像处理的准确性。
本发明实施例还提供一种电子设备，如图21所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图21中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果；
或获取待处理图像，采用训练后图像处理模型对待处理图像进行特征提取，得到待处理图像对应的特征图，训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，批数据包括多个图像样本，剪枝后特征图集合为批数据中图像样本对应的特征图被剪枝后得到的特征图集合，根据特征图，识别待处理图像的内容，并根据识别结果，对待处理图像进行分类或分割处理。
例如，电子设备可以根据预设训练比例，在训练样本集合中确定需要训练的图像样本的数量，根据确定的图像样本数量，在训练样本集合中随机选择图像样本数量对应的图像样本，将这些被选中的图像样本作为当前需要训练的批数据。采用预设图像处理模型对批数据中的每一张图像样本进行特征提取，得到该图像样本对应的特征图，该特征图可以由局部特征和全局特征融合，也可以由全局特征构成。将各个图像样本对应的特征图组成的集合作为特征图集合，在特征图集合中，每一张图像样本对应一个特征图。根据预设剪枝系数，确定特征图集合中需要剪枝的特征图的剪枝数量，在特征图集合中选择剪枝数量对应的目标特征图，获取目标特征图在特征图集合中的目标位置，根据目标位置，生成特征图集合对应的掩码图，基于掩码图，将目标特征图的特征值清零，得到清零后特征图集合，根据预设剪枝系数，对清零后特征图集合进行补偿，得到剪枝后特征图集合。根据剪枝后特征图集合和图像处理模型的结构，确定输入至BN层的目标特征图集合，计算目标特征图集合中未剪枝特征图的均值，得到目标均值，根据目标均值，对目标特征图集合的均值进行修正，得到修正后特征图集合，采用批归一层对修正后特征图集合中的特征图进行批归一化处理，根据批归一化处理结果，更新批归一层的网络参数，以收敛预设图像处理模型。当确定的当前需要训练的批数据经过特征提取、一次或多次特征图剪枝和特征图集合归一化处理，预设图像处理模型第一次收敛完成后，返回再次执行从训练样本集合中确定再次需要训练的批数据，对再次需要训练的批数据进行特征提取、特征图剪枝和批归一化处理，预设图像处理模型第二次收敛完成，如果训练样本集合中的数据没有训练完，或者预设图像处理模型没有收敛完成，就可以继续从训练样本集合中确定新的需要训练的批数据继续训练，训练步骤跟之前一样，特征提取，特征图剪枝和批归一化处理，直到预设图像处理模型收敛完毕。获取待处理图像，采用训练后图像处理模型对待处理图像进行特征提取，并采用训练后图像处理模型的BN层对提取到的特征图进行归一化处理，对归一化后特征图进行特征处理，得到待处理图像的处理结果。
以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
由以上可知，本发明实施例在从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果；由于该方案采用以批数据为单位，对特征图进行剪枝，并对剪枝后特征图的均值进行修正，可以大大提高批归一层在计算修正后特征图的均值和方差的准确性，从而避免方差偏移，因此，会大大提高图像处理模型对图像处理的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：
从训练样本集合中确定当前需要训练的批数据后，该批数据包括多个图像样本，采用预设图像处理模型对图像样本进行特征提取，得到特征图集合，该特征图集合包括多个特征图，每一个特征图对应一个图像样本，对特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，根据剪枝后特征图集合，对批数据进行批归一化处理，以收敛图像处理模型，返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至图像处理模型收敛完毕，得到训练后图像处理模型，基于训练后图像处理模型对待处理图像进行处理，得到处理结果
或获取待处理图像，采用训练后图像处理模型对待处理图像进行特征提取，得到待处理图像对应的特征图，训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，批数据包括多个图像样本，剪枝后特征图集合为批数据中图像样本对应的特征图被剪枝后得到的特征图集合，根据特征图，识别待处理图像的内容，并根据识别结果，对待处理图像进行分类或分割处理。。
例如，电子设备可以根据预设训练比例，在训练样本集合中确定需要训练的图像样本的数量，根据确定的图像样本数量，在训练样本集合中随机选择图像样本数量对应的图像样本，将这些被选中的图像样本作为当前需要训练的批数据。采用预设图像处理模型对批数据中的每一张图像样本进行特征提取，得到该图像样本对应的特征图，该特征图可以由局部特征和全局特征融合，也可以由全局特征构成。将各个图像样本对应的特征图组成的集合作为特征图集合，在特征图集合中，每一张图像样本对应一个特征图。根据预设剪枝系数，确定特征图集合中需要剪枝的特征图的剪枝数量，在特征图集合中选择剪枝数量对应的目标特征图，获取目标特征图在特征图集合中的目标位置，根据目标位置，生成特征图集合对应的掩码图，基于掩码图，将目标特征图的特征值清零，得到清零后特征图集合，根据预设剪枝系数，对清零后特征图集合进行补偿，得到剪枝后特征图集合。根据剪枝后特征图集合和图像处理模型的结构，确定输入至BN层的目标特征图集合，计算目标特征图集合中未剪枝特征图的均值，得到目标均值，根据目标均值，对目标特征图集合的均值进行修正，得到修正后特征图集合，采用批归一层对修正后特征图集合中的特征图进行批归一化处理，根据批归一化处理结果，更新批归一层的网络参数，以收敛预设图像处理模型。当确定的当前需要训练的批数据经过特征提取、一次或多次特征图剪枝和特征图集合归一化处理，预设图像处理模型第一次收敛完成后，返回再次执行从训练样本集合中确定再次需要训练的批数据，对再次需要训练的批数据进行特征提取、特征图剪枝和批归一化处理，预设图像处理模型第二次收敛完成，如果训练样本集合中的数据没有训练完，或者预设图像处理模型没有收敛完成，就可以继续从训练样本集合中确定新的需要训练的批数据继续训练，训练步骤跟之前一样，特征提取，特征图剪枝和批归一化处理，直到预设图像处理模型收敛完毕。获取待处理图像，采用训练后图像处理模型对待处理图像进行特征提取，并采用训练后图像处理模型的BN层对提取到的特征图进行归一化处理，对归一化后特征图进行特征处理，得到待处理图像的处理结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理方法、装置和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
从训练样本集合中确定当前需要训练的批数据，所述批数据包括多个图像样本；
采用预设图像处理模型对所述图像样本进行特征提取，得到特征图集合，所述特征图集合包括多个特征图，每一个特征图对应一个图像样本；
对所述特征图集合中的特征图进行剪枝，得到剪枝后特征图集合；
根据所述剪枝后特征图集合，对所述批数据进行批归一化处理，以收敛所述预设图像处理模型；
返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至所述预设图像处理模型收敛完毕，得到训练后图像处理模型；
基于所述训练后图像处理模型对待处理图像进行处理，得到处理结果。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述剪枝后特征图集合，对所述批数据进行批归一化处理，以收敛所述预设图像处理模型，包括：
根据所述剪枝后特征图集合，对输入至批归一层的目标特征图集合的均值进行修正，得到修正后特征图集合；
采用所述批归一层对所述修正后特征图集合中的特征图进行批归一化处理；
根据批归一化处理结果，更新所述批归一层的网络参数，以收敛所述预设图像处理模型。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述剪枝后特征图集合，对输入至批归一层的目标特征图集合的均值进行修正，得到修正后特征图集合，包括：
根据所述剪枝后特征图集合和图像处理模型的结构，确定输入至批归一层的目标特征图集合；
计算所述目标特征图集合中未剪枝特征图的均值，得到目标均值；
根据所述目标均值，对所述目标特征集合的均值进行修正，得到修正后特征图集合。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述目标均值，对所述目标特征集合的均值进行修正，得到修正后特征图集合，包括：
在所述目标特征图集合中识别出已剪枝特征图的位置；
将所述目标均值填充至所述已剪枝特征图的位置，使得所述已剪枝特征图的特征值为所述目标均值，得到修正后特征图集合。
5.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述剪枝后特征图集合和图像处理模型的结构，确定输入至批归一层的目标特征图集合，包括：
根据所述图像处理模型的结构，识别出所述剪枝后特征图集合将要输入的网络层的类型；
当所述网络层的类型为所述批归一层时，确定所述剪枝后特征图集合为所述目标特征图集合；
当所述网络层的类型为其他网络层时，采用所述其他网络层对剪枝后特征图集合进行特征处理，并返回执行识别所述其他网络层的下一个网络层的步骤，直到识别出网络层的类型为所述批归一层为止，将所述剪枝后特征图集合经过所述批归一层之前的网络层进行特征处理得到的处理后特征图集合作为目标特征图集合。
6.根据权利要求5所述图像处理方法，其特征在于，所述计算所述目标特征图集合中未剪枝特征图的均值，得到目标均值，包括：
当所述目标特征图集合为所述剪枝后特征图集合时，在所述剪枝后特征图集合中筛选出未剪枝特征图，计算所述未剪枝特征图的均值，得到目标均值；
当所述目标特征图集合为所述处理后特征图集合时，根据所述剪枝后特征图集合，对所述处理后特征图集合进行剪枝，并计算所述处理后特征图集合中未剪枝特征图的均值，得到目标均值。
7.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述剪枝后特征图集合，对所述处理后特征图集合进行剪枝，并计算所述处理后特征图集合中未剪枝特征图的均值，得到目标均值，包括：
在所述剪枝后特征图集合中筛选出已剪枝特征图；
获取所述已剪枝特征图的身份标识；
在所述处理后特征图集合中对所述身份标识对应的特征图进行剪枝，并计算所述处理后特征图集合中未剪枝特征图的均值，得到目标均值。
8.根据权利要求2所述的图像处理方法，其特征在于，所述采用所述批归一层对所述修正后特征图集合中的特征图进行批归一化处理，包括：
采用所述批归一化层计算所述修正后特征图集合中特征图的均值和方差；
根据所述特征图的均值和方差，对所述修正后特征图集合中的特征图进行标准化处理，得到标准化特征图集合。
9.根据权利要求8所述的图像处理方法，其特征在于，所述根据批归一化处理结果，更新所述批归一层的网络参数，以收敛所述预设图像处理模型，包括：
对所述标准化特征图集合进行缩放和平移处理，以训练所述批归一层的网络参数；
根据训练结果，更新所述批归一层的网络参数，以收敛所述预设图像处理模型。
10.根据权利要求1至9任一项所述的图像处理方法，其特征在于，所述对所述特征图集合中的特征图进行剪枝，得到剪枝后特征图集合，包括：
根据预设剪枝系数，确定所述特征图集合中需要剪枝的特征图的剪枝数量；
在所述特征图集合中选择所述剪枝数量对应的目标特征图；
对所述目标特征图进行剪枝，得到剪枝后特征图集合。
11.根据权利要求10所述的图像处理方法，其特征在于，所述对所述目标特征图进行剪枝，得到剪枝后特征图集合，包括：
获取所述目标特征图在所述特征图集合中的目标位置；
根据所述目标位置，生成所述特征图集合对应的掩码图；
基于所述掩码图，将所述目标特征图的特征值清零，得到清零后特征图集合；
根据所述预设剪枝系数，对所述清零后特征图集合进行补偿，得到剪枝后特征图集合。
12.根据权利要求1至9任一项所述的图像处理方法，其特征在于，所述基于所述训练后图像处理模型对待处理图像进行处理，得到处理结果，包括：
获取所述待处理图像；
采用所述训练后图像处理模型对所述待处理图像进行特征提取，并对提取到的特征图进行归一化处理；
对归一化后特征图进行特征处理，得到所述待处理图像的处理结果。
13.一种图像处理方法，其特征在于，包括：
获取待处理图像；
采用训练后图像处理模型对所述待处理图像进行特征提取，得到待处理图像对应的特征图，所述训练后图像处理模型由剪枝后特征图集合对批数据进行批归一化处理的结果训练而成，所述批数据包括多个图像样本，所述剪枝后特征图集合为所述批数据中图像样本对应的特征图被剪枝后得到的特征图集合；
根据所述特征图，识别所述待处理图像的内容，并根据识别结果，对所述待处理图像进行分类或分割处理。
14.一种图像处理装置，其特征在于，包括：
确定单元，用于从训练样本集合中确定当前需要训练的批数据，所述批数据包括多个图像样本；
提取单元，用于采用预设图像处理模型对所述图像样本进行特征提取，得到特征图集合，所述特征图集合包括多个特征图，每一个特征图对应一个图像样本；
剪枝单元，用于对所述特征图集合中的特征图进行剪枝，得到剪枝后特征图集合；
收敛单元，用于根据所述剪枝后特征图集合，对所述批数据进行批归一化处理，以收敛所述预设图像处理模型；
执行单元，用于返回执行从训练样本集合中确定当前需要训练的批数据的步骤，直至所述预设图像处理模型收敛完毕，得到训练后图像处理模型；
处理单元，用于基于所述训练后图像处理模型对待处理图像进行处理，得到处理结果。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质为计算机可读并存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至13任一项所述的图像处理方法中的步骤。
CN202010120394.XA 2020-02-26 2020-02-26 一种图像处理方法、装置和计算机可读存储介质 Active CN111275059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010120394.XA CN111275059B (zh) 2020-02-26 2020-02-26 一种图像处理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010120394.XA CN111275059B (zh) 2020-02-26 2020-02-26 一种图像处理方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111275059A true CN111275059A (zh) 2020-06-12
CN111275059B CN111275059B (zh) 2021-02-02

Family

ID=71002434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010120394.XA Active CN111275059B (zh) 2020-02-26 2020-02-26 一种图像处理方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111275059B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378911A (zh) * 2021-06-08 2021-09-10 北京百度网讯科技有限公司 图像分类模型训练、图像分类方法及相关装置
US20220207372A1 (en) * 2020-12-24 2022-06-30 Cypress Semiconductor Corporation Pattern-based neural network pruning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法
US20180289334A1 (en) * 2017-04-05 2018-10-11 doc.ai incorporated Image-based system and method for predicting physiological parameters
US20190117090A1 (en) * 2017-10-25 2019-04-25 Terumo Kabushiki Kaisha Diagnostic Method, Method for Validation of Diagnostic Method, and Treatment Method
CN110033083A (zh) * 2019-03-29 2019-07-19 腾讯科技（深圳）有限公司 卷积神经网络模型压缩方法和装置、存储介质及电子装置
CN110363281A (zh) * 2019-06-06 2019-10-22 上海交通大学 一种卷积神经网络量化方法、装置、计算机和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886975A (zh) * 2016-11-29 2017-06-23 华南理工大学 一种可实时运行的图像风格化方法
US20180289334A1 (en) * 2017-04-05 2018-10-11 doc.ai incorporated Image-based system and method for predicting physiological parameters
US20190117090A1 (en) * 2017-10-25 2019-04-25 Terumo Kabushiki Kaisha Diagnostic Method, Method for Validation of Diagnostic Method, and Treatment Method
CN110033083A (zh) * 2019-03-29 2019-07-19 腾讯科技（深圳）有限公司 卷积神经网络模型压缩方法和装置、存储介质及电子装置
CN110363281A (zh) * 2019-06-06 2019-10-22 上海交通大学 一种卷积神经网络量化方法、装置、计算机和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAN HENDRYCKS: "ADJUSTING FOR DROPOUT VARIANCE IN BATCH", 《ARXIV》 *
EWENWAN: "MVision/CNN/Deep_Compression/pruning/", 《HTTPS://GITHUB.COM/EWENWAN/M》 *
XIANG LI ET AL.: "Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207372A1 (en) * 2020-12-24 2022-06-30 Cypress Semiconductor Corporation Pattern-based neural network pruning
CN113378911A (zh) * 2021-06-08 2021-09-10 北京百度网讯科技有限公司 图像分类模型训练、图像分类方法及相关装置

Also Published As

Publication number Publication date
CN111275059B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110956079A (zh) 人脸识别模型构建方法、装置、计算机设备和存储介质
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN111368911B (zh) 一种图像分类方法、装置和计算机可读存储介质
CN112270686B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN110866909B (zh) 图像生成网络的训练方法、图像预测方法和计算机设备
CN111275059B (zh) 一种图像处理方法、装置和计算机可读存储介质
CN114781272A (zh) 碳排放量预测方法、装置、设备及存储介质
CN110175697A (zh) 一种不良事件风险预测系统及方法
CN110705428B (zh) 一种基于脉冲神经网络的脸部年龄识别系统及方法
WO2022178946A1 (zh) 黑色素瘤图像识别方法、装置、计算机设备及存储介质
CN112580902B (zh) 对象数据处理方法、装置、计算机设备和存储介质
WO2022179046A1 (zh) 人脸识别方法、装置、计算机设备和存储介质
CN113011895A (zh) 关联账户样本筛选方法、装置和设备及计算机存储介质
CN112766366A (zh) 对抗生成网络的训练方法及其图像处理方法、装置
CN113221645A (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN113705685A (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
Tang et al. Classification of benign and malignant pulmonary nodules based on the multiresolution 3D DPSECN model and semisupervised clustering
CN113889262A (zh) 基于模型的数据预测方法、装置、计算机设备和存储介质
CN112365007A (zh) 模型参数确定方法、装置、设备及存储介质
CN113408674B (zh) 模型训练方法及装置、图像识别方法及装置
CN113240699B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
Henderson et al. Automatic identification of segmentation errors for radiotherapy using geometric learning
CN111352926A (zh) 数据处理的方法、装置、设备及可读存储介质
KR102126795B1 (ko) 딥러닝 기반의 이미지 개인정보 가공장치 시스템, 장치 및 그 방법
CN116630736A (zh) 一种用户表情捕捉模型的训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024862

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant