CN111626335A - 一种像素增强的神经网络的改进难例挖掘训练方法及系统 - Google Patents

Abstract

本发明公开了一种像素增强的神经网络的改进难例挖掘训练方法，包括步骤：A.确定样本集；B.训练迭代；C.每一个迭代训练结束后得到当前迭代的累加损失值，记为当前迭代损失值，与历史迭代损失值的最小值比较；D.C步骤循环迭代直到达到收敛条件，即得能自动对原图进行图像增强的最优神经网络。本发明还公开了一种像素增强的神经网络的改进难例挖掘训练系统。本发明针对千万像素级别的图像进行图像增强神经网络的训练，图像输入不受限制，解决了大尺寸数据集的数据不均衡问题，训练方法准确。

Description

一种像素增强的神经网络的改进难例挖掘训练方法及系统

技术领域

本发明属于针对千万级像素图片的原尺寸图像增强的神经网络训练方法领域，尤其是涉及一种像素增强的神经网络的改进难例挖掘训练方法及系统。

背景技术

在图像检测领域里，样本分布不均衡是一个重大技术难点，如果不采取针对性的训练方法，样本分布不均衡会导致训练出来的检测神经网络在某些少数类或者异常类(与其他类别的分布非常不一致)的检测性能下降。目前解决样本分布不均衡的方法有重新采样训练集(欠采样、过采样)、对不同类别样本的损失值按偏向或者类别数量加权、组合小类别样本和大类别样本训练，和本发明涉及的难例挖掘<Training Region-based ObjectDetectors with Online Hard Exam-ple Mining>等。前三种方法有个前提是知道哪些样本是什么类别，这个类别有多少个，但在图像增强领域,并没有类别的信息，如一张图的亮度是过曝光或者曝光不足、颜色好看还是不好看是没有量化指标衡量的，完全由人的主观影响，唯一作为参考标准就是真实的增强图(一般由人修图得到)。所以最后一种方法-难例挖掘是目前唯一训练数据分布不均衡的图像增强神经网络的有效方法。

原论文<Training Region-based Object Detectors with Online HardExample Mining>中提及的难例是针对图像检测神经网络设计的。原理是在每次神经网络训练迭代中，随机抽取N张样本，预测N张样本中物体的分类类别和检测框坐标，并与真实的分类类别和检测框坐标计算损失值，然后根据损失从大到小选取M张样本作为难例样本，计算M张难例样本的损失和梯度，最后通过将难例样本的损失反向传播给神经网络计算出最新的神经网络参数权重，算法流程图见算法流程图1。

发明内容

为了克服现有技术的不足，本发明提供一种针对千万级像素图片增强神经网络的训练，解决了大尺寸数据集的数据不均衡问题的像素增强的神经网络的改进难例挖掘训练方法及系统。

本发明解决其技术问题所采用的技术方案是：一种像素增强的神经网络的改进难例挖掘训练方法，包括以下步骤：

A.确定样本集：样本集由原图和增强图构成，每一张原图对应一张人工增强图；

B.训练迭代：周期性训练样本集，一个训练迭代也就是一个训练周期；一次训练步骤包括：

1.从样本集中随机抽取N对样本，对所述样本进行裁剪，得到裁剪集，从裁剪集中得到样本对应的N组裁剪集，根据初始化的损失记忆库的损失值记录，从每一组裁剪集中取得损失最大的一张裁剪小图，即得到N张裁剪小图和对应位置的真实裁剪增强图；

2.将选取的N张裁剪小图经过神经网络正向传播得到N张裁剪预测图，计算裁剪预测图和对应位置的真实裁剪增强图的损失，将损失反向传播到神经网络中得到神经网络参数的梯度值，并由优化器重新计算神经网络的参数值；

3.保存当前每一对选取的裁剪样本的损失值到损失记忆库，更新损失记忆库中对应裁剪小图的损失值；

4.重复1)、2)、3)步骤直到样本都训练过一次，累加每次的损失得到迭代损失值；

C.每一个迭代训练结束后得到当前迭代的累加损失值，记为当前迭代损失值，与历史迭代损失值的最小值比较；

D.C步骤循环迭代直到达到收敛条件，即得能自动对原图进行图像增强的最优神经网络。

进一步的，所述步骤C中，若比最小值小则更新为迭代损失值最小值，保存神经网络参数为当前最优神经网络参数，反之则继续使用当前更新过参数的神经网络进行下一个训练迭代。

进一步的，所述步骤D中，收敛条件为等待K个迭代数仍未有最新的迭代损失最小值，K的值等于样本集最大裁剪数的3倍，样本集最大裁剪数由样本集中每张样本图片尺寸和裁剪尺寸决定。

进一步的，所述步骤B中，一个训练周期会不断地随机抽样一定数量的样本进行训练，直到训练集里面所有样本都训练完成为止，即完成一次训练迭代。

进一步的，所述步骤B中，对样本进行等尺寸裁剪。

进一步的，所述步骤A中，人工增强图的方式有色彩增强或清晰度增强。

进一步的，所述步骤B中，所述损失值计算方式为两张图片张量RGB维度上的均方误差。

进一步的，所述步骤B中，所述梯度值采用随机梯度下降优化器计算得到神经网络最新参数。

本发明还公开了一种像素增强的神经网络的改进难例挖掘训练系统，包括有：

损失记忆库模块：损失记忆库记录样本集内所有裁剪小图的损失值，损失值首先初始化为无限大，再根据训练迭代中抽取到的样本裁剪图所计算的损失值不断更新；

训练抽样模块：训练迭代中，从样本集随机抽取N对样本，再从每一对样本中根据当前损失记忆库中的裁剪小图损失值选取对应损失最大的裁剪小图，得到N对裁剪小图，训练N对裁剪小图得到N对裁剪小图的损失值，将其更新到损失记忆库中；

训练抽样模块中循环训练迭代，直到收敛或者下降幅度低于阈值，即可得到最优的神经网络，这个神经网络能自动对原图进行图像增强。

现有的难例挖掘算法并不适用于千万像素级别图像的图像增强神经网络训练，由于市面上显卡的显存大小限制，一般的图像增强神经网络只支持单次抽样的图片总像素数为300万左右，一张1000千万像素都无法作为输入，更不用说如论文中抽样多张了(深度学习理论上单次迭代中取样本数量越多越好，训练出来的神经网络越准确，如果单次抽样数少的话会导致模型无法收敛等问题)。所以本发明通过一种裁剪原图和动态记录裁剪图损失值的方法，实现千万像素级图像的图像增强神经网络的训练，解决大尺寸数据集的数据不均衡问题。

本发明在每次神经网络迭代中，随机抽取N张样本，并根据损失记忆库选取样本的最大损失裁剪图作为神经网络的输入图，输入到神经网络中得到预测图，计算预测图和真实增强图的损失，反向传播损失到神经网络中并更新神经网络参数权重，最后将当前选取的裁剪样本的损失记录在损失记忆库。如此循环地抽样、裁剪、取样最大损失的裁剪图、预测、计算损失、记录损失，达到训练千万像素级别图片的图像增强神经网络的目的。

与现有的难例挖掘方法不同的是本发明方法建立了裁剪图损失记忆库机制。每次神经网络训练迭代中，仍然是对原图样本集中随机取样N张，但之后即对原图裁剪得到N个裁剪图集，每个裁剪集中有包含对应原图中所有图片像素，根据损失记忆库的对应裁剪图的损失大小，从每个裁剪图集中各自选取损失最大的裁剪图，之后输入到神经网络中按一般流程计算网络梯度和损失，反向传播损失计算得到神经网络的参数权重，最后记录当前裁剪图的损失到损失记忆库。

本发明的有益效果是，针对千万像素级别的图像进行图像增强神经网络的训练，图像输入不受限制，解决了大尺寸数据集的数据不均衡问题，训练方法准确。

附图说明

图1为现有在线难例挖掘-OHEM的算法流程图。

图2为本发明的算法流程图。

图3为本发明2组原图和人工增强图的样本集示意图。

图4为图3中样本集经过裁剪后的示意图。

图5为本发明的训练流程示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

一种像素增强的神经网络的改进难例挖掘训练方法，包括以下步骤：

确定样本集：样本集由原图和增强图构成，每一张原图对应一张人工增强图，人工增强图的方式有色彩增强和清晰度增强等，人工增强图片的方式通常在photoshop软件进行，色彩增强的方式有RGB曲线调色、色温调整和饱和度调整等，实现的效果为颜色在色相和色彩鲜艳程度上的转变，例如暗黄的衣服修为白色的衣服和深灰的海水修为鲜艳明亮的蓝色；清晰度的增强在photoshop的方式有锐化、对比度调整和photoshop中camera raw功能模块的清晰度调整等，实现的效果是图片更清晰、图片内容轮廓更明显和图片模糊的纹理更突出。假设我们一共有M对原图和人工增强图构成样本集，根据设定裁剪尺寸对样本集裁剪得到裁剪集，根据裁剪集数量初始化损失记忆库，损失记忆库存储所有裁剪小图的对应损失值，损失值初始化为一个极大值。

A.正向传播、计算损失、反向传播的过程)，直到训练集里面所有样本都训练过为止即完成一次训练迭代(周期)；在一次抽样训练中，本发明采取以下步骤：

1.从样本集中随机抽取N对样本，对所述样本进行裁剪，得到裁剪集，此处裁剪为等尺寸裁剪，等尺寸裁剪的意思是保证每张被抽取到的裁剪图宽高尺寸一样，目的是确保每个像素被抽取的概率不受尺寸的影响，因为随着尺寸的增大裁剪图的内容会更复杂更多样(统计学上既是图片的方差更大)，导致裁剪预测图和真实裁剪增强图计算的损失会更大，基于本发明按损失大小选择样本子集(裁剪图)来训练的原理，如果每次抽样裁剪的尺寸不一样，那每个裁剪图的抽取概率就会偏差很大，样本裁剪图是否被选择就不完全由图片本身的损失控制而是受了尺寸的干扰，为了排除尺寸的干扰因素，优选等尺寸裁剪。裁剪集中得到样本对应的N组裁剪集，根据初始化的损失记忆库的损失值记录，从每一组裁剪集中取得损失最大的一张裁剪小图，即得到N张裁剪小图和对应位置的真实裁剪增强图；

2.将选取的N张裁剪小图经过神经网络正向传播得到N张裁剪预测图，计算裁剪预测图和对应位置的真实裁剪增强图的损失(损失的含义为原图和增强的差别)，将损失反向传播到神经网络中得到神经网络参数的梯度值，并由优化器(例如adam、随机梯度下降等，本文采取的是随机梯度下降)重新计算神经网络的参数值；

3.保存当前每一对选取的裁剪样本的损失值到损失记忆库，更新损失记忆库中对应裁剪小图的损失值；

4.重复1)、2)、3)步骤直到样本都训练过一次，累加每次的损失得到迭代损失值；

C.每一个迭代训练结束后得到当前迭代的累加损失值，我们记为当前迭代损失值，与历史迭代损失值的最小值比较，若比最小值小则更新为迭代损失值最小值，然后保存神经网络参数为当前最优神经网络参数，

反之则继续使用当前更新过参数的神经网络进行下一个训练迭代；

D.C步骤循环迭代直到达到收敛条件，即可得到最优的神经网络,这个神经网络能自动对原图进行图像增强。收敛条件为等待K个迭代数仍未有最新的迭代损失最小值，K的值等于样本集最大裁剪数的3倍，样本集最大裁剪数由样本集中每张样本图片尺寸和裁剪尺寸决定。

具体的，如图3所示，A、确定样本集，有2组原图和人工增强图，尺寸皆为宽1400，高900；设定裁剪尺寸为宽700，高900，裁剪样本集得到裁剪集如图4所示。

初始化损失记忆库，如下表：

	图1裁剪图1	图1裁剪图2	图2裁剪图1	图2裁剪图2
					损失值	9999	9999	9999	9999

B.1)随机抽取样本，抽到样本原图1，根据损失记忆库选这张样本损失值最大的裁剪图，因为初始化值相等，先随机选取到裁剪图2。

B.2)将原图1裁剪图2经过神经网络正向传播得到裁剪预测图，计算裁剪预测图与增强图1裁剪图2的损失值为0.002，损失值计算方式为两张图片张量RGB维度上的均方误差，将损失值反向传播回神经网络得到梯度值，根据梯度值采用随机梯度下降优化器计算得到神经网络最新参数，流程如图5所示:

B.3)记录样本1的当前损失值，更新损失记忆库如下表:

	图1裁剪图1	图1裁剪图2	图2裁剪图1	图2裁剪图2
					损失值	9999	0.002	9999	9999

B.4)重复B.1)、B.2)、B.3)步骤直到两张样本都被训练过一次，在本实施例中图2选取到裁剪图1，完成一次迭代，得到当前损失记忆库如下记为迭代损失最小值:

	图1裁剪图1	图1裁剪图2	图2裁剪图1	图2裁剪图2
					损失值	9999	0.002	0.007	9999

C:当前迭代抽取到图1裁剪图2，图2裁剪图1，各自的损失值为0.002和0.007，累加得到迭代损失值为0.009,比历史迭代损失最小值小，记录为迭代损失值最小值，保存神经网络参数为当前最优神经网络参数。

B、C步骤循环迭代直到达到K个迭代数仍未有最新的迭代损失最小值，样本最大裁剪数为2，所以K的值为3*2＝6,也就是6个迭代后迭代损失值最小值仍未被更新，则停止训练，选择历史迭代损失值最小的神经网络参数为最优。

一种像素增强的神经网络的改进难例挖掘训练系统，包括有：

损失记忆库模块：损失记忆库记录样本集内所有裁剪小图的损失值，损失值首先初始化为无限大，再根据训练迭代中抽取到的样本裁剪图所计算的损失值不断更新；

训练抽样模块：训练迭代中，从样本集随机抽取N对样本，再从每一对样本中根据当前损失记忆库中的裁剪小图损失值选取对应损失最大的裁剪小图，得到N对裁剪小图，训练N对裁剪小图得到N对裁剪小图的损失值，将其更新到损失记忆库中；

训练抽样模块中循环训练迭代，直到收敛或者下降幅度低于阈值，即可得到最优的神经网络，这个神经网络能自动对原图进行图像增强。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1.一种像素增强的神经网络的改进难例挖掘训练方法，其特征在于包括以下步骤：

A.确定样本集：样本集由原图和增强图构成，每一张原图对应一张人工增强图；

B.训练迭代：周期性训练样本集，一个训练迭代也就是一个训练周期；一次训练步骤包括：

1.从样本集中随机抽取N对样本，对所述样本进行裁剪，得到裁剪集，从裁剪集中得到样本对应的N组裁剪集，根据初始化的损失记忆库的损失值记录，从每一组裁剪集中取得损失最大的一张裁剪小图，即得到N张裁剪小图和对应位置的真实裁剪增强图；

2.将选取的N张裁剪小图经过神经网络正向传播得到N张裁剪预测图，计算裁剪预测图和对应位置的真实裁剪增强图的损失，将损失反向传播到神经网络中得到神经网络参数的梯度值，并由优化器重新计算神经网络的参数值；

3.保存当前每一对选取的裁剪样本的损失值到损失记忆库，更新损失记忆库中对应裁剪小图的损失值；

4.重复1)、2)、3)步骤直到样本都训练过一次，累加每次的损失得到迭代损失值；

C.每一个迭代训练结束后得到当前迭代的累加损失值，记为当前迭代损失值，与历史迭代损失值的最小值比较；

D.C步骤循环迭代直到达到收敛条件，即得能自动对原图进行图像增强的最优神经网络。

2.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤C中，若比最小值小则更新为迭代损失值最小值，保存神经网络参数为当前最优神经网络参数，反之则继续使用当前更新过参数的神经网络进行下一个训练迭代。

3.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤D中，收敛条件为等待K个迭代数仍未有最新的迭代损失最小值，K的值等于样本集最大裁剪数的3倍，样本集最大裁剪数由样本集中每张样本图片尺寸和裁剪尺寸决定。

4.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤B中，一个训练周期会不断地随机抽样一定数量的样本进行训练，直到训练集里面所有样本都训练完成为止，即完成一次训练迭代。

5.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤B中，对样本进行等尺寸裁剪。

6.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤A中，人工增强图的方式有色彩增强或清晰度增强。

7.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤B中，所述损失值计算方式为两张图片张量RGB维度上的均方误差。

8.根据权利要求1所述的像素增强的神经网络的改进难例挖掘训练方法，其特征在于：所述步骤B中，所述梯度值采用随机梯度下降优化器计算得到神经网络最新参数。

9.一种像素增强的神经网络的改进难例挖掘训练系统，其特征在于包括有：

损失记忆库模块：损失记忆库记录样本集内所有裁剪小图的损失值，损失值首先初始化为无限大，再根据训练迭代中抽取到的样本裁剪图所计算的损失值不断更新；

训练抽样模块：训练迭代中，从样本集随机抽取N对样本，再从每一对样本中根据当前损失记忆库中的裁剪小图损失值选取对应损失最大的裁剪小图，得到N对裁剪小图，训练N对裁剪小图得到N对裁剪小图的损失值，将其更新到损失记忆库中；

训练抽样模块中循环训练迭代，直到收敛或者下降幅度低于阈值，即可得到最优的神经网络，这个神经网络能自动对原图进行图像增强。

Images