CN112990263B - 一种用于密集小目标的高分辨率图像的数据增强方法 - Google Patents

Abstract

本发明提供了一种用于密集小目标的高分辨率图像的数据增强方法，通过裁剪高分辨率图像，裁剪成一定数量的适合训练网络的小尺寸图像，再进一步融合小尺寸图像得到特征信息丰富，目标表达更强的融合图，最后和裁剪后的小尺寸图合并，组合成新的数据集，提升了对小且密集目标的检测的准确度和可靠性，扩充了数据集以避免过拟合。本发明提出的数据增强方法优于其他最新的方法，能获得更多高质量小尺寸图像，从而实现高精准的对小且密集分布目标的检测。

Description

一种用于密集小目标的高分辨率图像的数据增强方法

技术领域

本发明属于计算机视觉数据增强技术领域，具体涉及一种用于密集小目标的高分辨率图像的数据增强方法。

背景技术

目前,在高分辨率图像中检测小且密集分布的目标的研究越来越广泛，例如，在卫星遥感图像中检测地表信息用于城市的规划以及在显微图像中检测细胞、细菌等用于医疗探索。然而，大尺寸的图像直接输入到基于卷积神经网络的检测网络中，会产生严重的几何形变，很难做到高精度小且密集分布目标的检测。因此，在训练此类图像时，人们往往会选择图像的预处理，来增强图像的特征表达。数据增强是最为经典的图像预处理方法之一，它在不增加网络复杂度的前提下，能够有效的提升网络的鲁棒性。

从不同角度研究数据增强的方法已有大量工作，如图像的一些物理变换：几何形变、裁剪、图像合并等以及改变图像的像素：遮挡图像部分信号、模糊图像、混合图像等。物理层面的数据增强方法能让高分辨率的图像更加适合于训练检测网络，是处理大尺寸图像不可或缺的操作。2018年Alexander等人提出了一个数据增强库Albumentation，包含许多物理层面的数据增强方法，比如图像的裁剪、缩放、平移、扭曲等。随后Adam等人提出了YOLT，它被用于裁剪卫星遥感图像，裁剪图像时带有一定的图像重叠，被裁剪后的图像更适合网络的特征提取。除了单张图片处理的方法之外，Massac被用于图像的合并，一次性合并四张图图像，让网络充分利用特征信息。但是，以上方法忽视了像素层面的元素，仍存在检测不准的情况。像素级的数据增强方法的核心思想是局部屏蔽或混淆训练信息，以提高模型的泛化能力。Cutout用一个随机的固定大小的矩形块遮挡图像信息，该矩形块所有的值都设置为0或其他一些纯色值。CutMix用另一幅图像的特征信息替换矩形块，具体来说，把训练集中其他图像的像素值随机填充到矩形块区域，而不是0像素。CutBlur将高分辨率矩形块和低分辨率矩形块切割到相应的位置，提高了图像恢复视觉任务的性能。Mixup没有引入矩形块，而是图像进行随机混合的数据增强算法，图像的混合能够有效增强目标的特征信息，从而提升模型的泛化能力。

基于以上分析，在物理层面中，大尺寸图像的分析与裁剪是解决网络输入层图像的严重几何形变的关键一步，但是它缺乏像素层面的信息加强，不利于目标的表达。在像素级层面，Cutout减屏蔽掉了一些特征信号，起到防止过拟合的作用，但是它损害了图像的完整性。CutMix、CutBlur用其它或自身图像的信息代替此缺口，但是仍然损害特征的表达。Mixup有很明显的特征混淆现象。因此，保持特征和图像的完整性，避免图像的混淆，才能够有效地提升的对大尺寸图像中小且密集分布的目标检测的精准度。

发明内容

本发明要解决的技术问题是：提供一种用于密集小目标的高分辨率图像的数据增强方法，用于提升对小且密集目标的检测的准确度和可靠性。

本发明为解决上述技术问题所采取的技术方案为：一种用于密集小目标的高分辨率图像的数据增强方法，包括以下步骤：

S1：通过调整不多于两个的参数裁剪高分辨率图像，得到大小相同的适合训练网络的小尺寸图像；

S2：通过标签的边缘处理算法将高分辨率图像的特征点重定义到对应的小尺寸图像中以裁剪图像和图像对应的目标和标签；

S3：将拥有最多目标的小尺寸图像作为主要信息，把剩下的小尺寸图像作为背景融合，得到大小不变的融合图像；

S4：将融合图像与没有融合的小尺寸图像组合成新的数据集，用于在扩充数据集的同时避免过拟合。

按上述方案，所述的步骤S1中，具体步骤为：

S11：按照一定的比例将高分辨率图像划分为训练集和测试集；

S12：裁剪训练集，具体步骤为：

S121：统计一个数据集中的高分辨率图像是否是相同大小，若不是则将相同大小的高分辨率图像分为一类；

S122：设高分辨率图像的宽为W，高为H，由训练网络提取图像的大小得到被裁减后的小尺寸图像的宽为w，高为h，则用于裁剪分类好的高分辨率图像的参数N和M为：

N＝H/h，

M＝W/w；

S123：若W/w或H/h求余不等于0，则调大w或h的值直到求余等于0为止；

S13：裁剪测试集，具体步骤为：取重叠比例的值为大于等于15％且小于50％进行裁剪。

进一步的，所述的步骤S2中，具体步骤为：

设高分辨率图像的特征点的坐标为(x，y)，对应的小尺寸图像中等价于(x，y)的特征点的坐标为(x′,y′)，通过标签的边缘处理算法决定小尺寸图像对应高分辨率图像的位置的参数i和j，则高分辨率图像的特征点对应在小尺寸图像中的位置信息为：

进一步的，所述的步骤S2中，具体步骤为：

S21：将高分辨率图像唯一对应的标签按高分辨率图像裁剪的份数裁剪，得到裁剪后的小尺寸图像的标签与小尺寸图像一一匹配，具体步骤为：

在高分辨率图像的标签中，设高分辨率图像中的每个目标对应的两个特征点分别为(x₁，y₁)和(x₂，y₂)，对应的小尺寸图像中分别等价于(x₁，y₁)和(x₂，y₂)的特征点的坐标为(x′₁,y′₁)和(x′₂,y′₂)，判定裁剪位置的参数别为i＝(int)x₁/w和j＝(int)y₁/h；

S22：通过标签的边缘处理算法将高分辨率图像中的目标按被裁剪的份数重定义并分配到对应的小尺寸图像的标签中，具体步骤为：

判断目标是否存在越界行为，若目标object_k的点a和点c经过裁剪仍处在同一个小尺寸图像中，则目标object_k未越界，相应的特征点为：

若点a和点c不在同一小尺寸图中，且目标object_k出现了横向越界并被分成两部分，由点a和点g确定新的目标object_{_1}，相应的特征点为：

由点d和点c确定新的目标object_{_2}，相应的特征点为：

若点a和点c不在同一小尺寸图中，且目标object_k出现了纵向越界并被分成两部分，由点a和点e确定新的目标object_{_1}，相应的特征点为：

由点f和点c确定新的目标object_{_2}，相应的特征点为：

若点a与点c不在同一小尺寸图中，且目标object_k出现了横纵两部分的越界并被分成四部分，由点a和点b确定新的目标object_{_1}，相应的特征点为：

由点g和点c确定新的目标object_{_2}，相应的特征点为：

由点f和点d确定新的目标object_{_3}，相应的特征点为：

由点b和点c确定新的目标object_{_4}，相应的特征点为：

将目标object_{_1}、目标object_{_2}、目标object_{_3}、目标object_{_4}中的特征点分配到对应的小尺寸图像的标签中。

进一步的，所述的步骤S3中，具体步骤为：

S31：将裁剪高分辨率图像得到N×M张大小相同的小尺寸图像组成方形矩阵；N×M张大小相同的小尺寸图像对应N×M个标签，每个小尺寸图像有唯一对应的标签；

S32：当N×M＝4×4时，在方形矩阵的一行中融合4张小尺寸图像得到1张融合图像，具体步骤为：

分别计算每张小尺寸图像的目标数量，将拥有目标最多的小尺寸图像定义为图A；

设决定融合的融合系数为λ和ξ；λ服从β分布，λ～β(7,3)；ξ随机分布在区间[0.05，0.1]；

将图A的特征信息乘以λ，其余三张小尺寸图像的特征信息乘以ξ，融合得到1张融合图像；

S33：设预测图像为

的真实样本为

则经验风险样本为

预测误差为l，联合分布为P，预测模型为f，预测函数为f(·)，按照经验风险的思想计算融合前的小尺寸图像的平均损失，公式如下：

对两张融合图像进行邻域风险最小化的求解，公式如下：

进一步的，用如下步骤替换所述的步骤S32：当N×M＝4×4时，在方形矩阵的一行中分别融合2张小尺寸图像得到2张融合图像，具体步骤为：

分别计算每张小尺寸图像的目标数量，将拥有目标最多的两张小尺寸图像分别定义为图A1和图A2；

设决定融合的融合系数为λ和ξ；λ服从β分布，λ～β(7,3)；ξ随机分布在区间[0.05，0.1]；

将图A1和图A2的特征信息分别乘以λ，其余小尺寸图像的特征信息乘以ξ，分别融合得到两张融合图像。

进一步的，所述的步骤S33中，经验风险最小化和邻域风险最小化的特征点分布根据图像的裁剪和重定义进行相应的重定义，具体步骤为：

设裁剪得到的图像为

的真实样本为

则经验风险样本

经过裁剪变成

拥有最多目标的小尺寸图像为

真实目标为

其他图像为

常系数为σ，σM用于决定融合几张小尺寸图像；整数c∈[1，σM]，待融合图像中目标数为M_c；q是M_c中的一个自变量，则邻域风险特征点按如下公式重定义：

q＝argmax(M_c)；

由经验风险得到预测训练裁剪图像得到的模型误差为：

由邻域风险得到预测训练融合图像得到的模型误差为：

进一步的，所述的步骤S4中，具体步骤为：

设高分辨率图像裁剪后得到的小尺寸图像的数目为n，融合后的所有图像的数目为m，融合图像为a，没有被融合的小尺寸图像为b，

则通过特殊风险最小化求解融合图像与没有融合的小尺寸图像组合成的新的数据集的计算风险最小化的公式为：

进一步的，所述的步骤S4中，裁剪后的特殊风险最小化的公式重定义为：

一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行一种用于密集小目标的高分辨率图像的数据增强方法。

本发明的有益效果为：

1.本发明的一种用于密集小目标的高分辨率图像的数据增强方法，通过裁剪高分辨率图像，裁剪成一定数量的适合训练网络的小尺寸图像，再进一步融合小尺寸图像得到特征信息丰富，目标表达更强的融合图，最后和裁剪后的小尺寸图合并，组合成新的数据集，提升了对小且密集目标的检测的准确度和可靠性。

2.本发明用于扩充数据集以避免过拟合。

3.本发明提出的数据增强方法优于其他最新的方法，能获得更多高质量小尺寸图像，从而实现高精准的对小且密集分布目标的检测。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的边缘检测算法的判定图。

图3是本发明实施例的对细菌数据集进行的多方位融合技术图。

图4是本发明实施例的整体过程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明实施例的一种用于密集小目标的高分辨率图像的数据增强方法，包括以下步骤：

S1：通过调整两个不同的参数裁剪高分辨率的图像，将其裁剪成一系列大小相同的小尺寸图像，所得图像的大小更加适合网络的特征提取；

步骤S1具体为，本发明对高分辨率的图像设计了一种裁剪技术，用于实现此类图像的目标检测。第一步，按照一定的比例划分训练集和测试集，第二步，裁剪训练集：在做裁剪之前，首先统计一个数据集中的所有高分辨率图像是否都是同一大小，若不是，则需要分类，将大小相等图像分在一个文件夹下。根据网络提取图像的大小，计算两个参数(N，M)用于裁剪分类好的数据图。以W表示高分辨率图像的宽，H表示高，则被裁减后图像的宽w,高h由输入网络图像的大小所决定，其中，N＝H/h,M＝W/w。若W/w或H/h求余不等于0，则适当的调大w或h的值，直到求余等0为止。第三步，裁剪测试集：在w和h的基础上，取大于等于15％小于50％的值作为重叠比例进行裁剪。

以细菌数据集为例，所有图像的分辨率均为3072×2048，因此不需要做图像的分类工作，图像输入网络的大小为768×512，则N＝3072/768＝4，M＝2048/512＝4。当出现N或M求余不等于0的情况，应适当调大分母的大小，直到求余为0为止，其目的是为了避免不必要的特征损失。为了不引入冗余的特征信息，在做训练集的裁剪时，直接将高分辨率图像裁剪成N×M份小图即可。但是，为了避免测试时遗漏某些目标，测试集的裁剪需要带有大于等于15％小于50％重叠，将得到的特征点还原至高分辨图像，冗余的检测框由非极大值抑制(Non-Maximum Suppression(NMS))去除，最后统计NMS之后图像的检测结果。

S2：为了避免裁剪时的小图像中的目标丢失，提出一种标签处理的算法对大图像的特征点进行重定义，用于快速处理批量的标签；

步骤S2具体为，标签的边缘处理算法是对PASCAL VOC数据集格式的专属设计。高分辨率图像被切割后，对应的标签也需要进行一一匹配，由S1可知，高分辨率图像被分成16张小图，因此标签也要被分为16份。由于小且密集分布的目标在一张图上的数量特别多并且没有任何的分布规则，因此，标签处理算法的工作就必须涉及到每一个目标。根据VOC提供的两个坐标点也被称之为特征点，确定一个目标对应在高分辨率的位置，标签处理算法将重新计算这两个特征点，计算结果可以将该目标完美的复现到被裁减后的图像上。当一个目标被切割成两部分或四部分的时候，该算法重新定义该目标，定义成两个和四个新的目标，新目标类别不发生改变，并将其分配到对应的小图标签中。

根据S1计算出的参数(N×M)，设计公式(1)判定高分辨率图像下的特征点对应在小尺寸图像的位置信息。

(x，y)是高分辨率图像的特征点，(x′,y′)是对应小图上等价于(x，y)的特征点，w和h表示小尺寸图像的宽高，W和H表示高分辨率图像的宽高，i和j用来判断小尺寸图象对应高分辨率图像的哪个位置。除(x，y)其他符号均为已知项，其中i和j由边缘处理算法决定。

根据图2详细描述边缘处理算法，该算法被用于PASCAL VOC格式的数据集，其中每个大尺寸图像对应唯一的标签文件，每个目标对应两个特征点。算法分为以下几步：

第一步：在指定的大尺寸图像的标签中，给出算法的输入项:object_k的两个特征点(x₁，y₁)，(x₂，y₂)，判定裁剪位置的参数i＝(int)x₁/w，j＝(int)y₁/h，以及输出项：(x′₁,y′₁)，(x′₂,y′₂)。

第二步：判断输入目标属于是否存在越界行为，当高分辨率图像被切割后，出现图2中A的情况，a和c两个点经过切割仍处在同一个小尺寸图像中，则object_k中的特征点可以直接由公式(1)计算出：

第三步:从图2中B可以看出a与c不在同一小尺寸图中，object_k出现了横向越界，目标被分成了两部分，其中a和g确定一个新的目标object_{_1}，d和c确定一个新的目标object_{_2}：

第四步:从图2中C可以看出a与c不在同一小尺寸图中，object_k出现了纵向越界，目标被分成了两部分，其中a和e确定一个新的目标object_{_1}，f和c确定一个新的目标object_{_2}：

第五步:从图2中D可以看出a与c不在同一小尺寸图中，object_k出现了横纵两部分的越界，目标被分成了四部分，其中a和b确定一个新的目标object_{_1}，g和c确定一个新的目标object_{_2}，其中f和d确定一个新的目标object_{_3}，b和c确定一个新的目标object_{_4}：

第六步：将最后得到的object_{_1}、object_{_2}、object_{_3}、object_{_4}中的特征点分配到指定小图标签中。

S3：融合裁剪后的小尺寸图像，融合后的图像大小保持不变，该融合技术可以融合两张或者两张以上的图像，在融合多张小尺寸图像之前，先对每张图像中的所有目标数量进行对比，选出拥有目标最多的图像，将此图作为主要信息，剩下所有图片作为背景再进行融合；

步骤S3具体为，由步骤S1的裁剪可以得出N×M张大小相同的小图，它们组成了一个方形矩阵，当N×M＝4×4时，选择方阵其中的一行进行融合，能融合4或2张图像，得到1或2张融合图像。由S2可以得出4×4个对应标签，每一个小图对应唯一的标签。融合4张图时，分别计算四张图像的目标数量，选出其中拥有目标最多的图像，定义为图A。其次定义一个服从β分布的系数λ，其中λ～β(7,3)，和一个随机分布在[0.05，0.1]的ξ，融合由融合系数λ、ξ所决定。在做融合时图A的特征信息将被扩充λ倍，而其余三张图像由ξ所决定，最终融合出1张全新的图像。融合2张图时，选出其中拥有目标最多的前两张图，定义为图A1和图A2。在融合时，图A1和图A2作为主要信息乘以系数λ，以此和其余的图像乘以系数ξ进行融合，以此得到两张全新的融合图像。

融合思想基于经验风险最小化(Empirical Risk Minimization)和邻域风险最小化(Vicinal Risk Minimization)，未经融合的图像损失计算基于经验风险，按照经验风险的思想计算平均损失，计算公式如下：

邻域风险最小化是将两张融合了以后的图像进行风险最小化的求解，公式定义如下：

其中，

表示预测图像，

表示

的真实样本，l表示预测误差，P是联合分布，f(·)表示与预测函数，f是预测模型。

若以多张图像的融合为例，则在融合之前先对每张图像中的所有目标进行对比，选出拥有目标最多的图像，将此图作为主要信息，剩下所有图片作为背景再进行融合；通过图3可以看出四幅小尺寸图像进行融合的两种情况。具体而言,四幅小图进行同时融合时，图d有42个目标，目标数量最多，选择图d作为主要信息，融合系数为λ，图a，b，c则作为背景信息融合系数为ξ，其中Res3为融合结果，图Res3只包含了d中的目标。图3中λ的平均取值为0.7，ξ的平均取值为0.1。当进行两张图像的融合时，a有41个目标，则选择a，d作为主要的信息，b，c作为背景信息依次进行融合。Res1是a和b的融合结果，且只包含了a中的目标，Res2是c和d的融合结果，且只包含了d中的目标。

本发明中，因受到步骤S1和步骤S2中图像裁剪和特征点的重定义，因此，经验风险最小化和邻域风险最小化的特征点分布也受到影响。进一步讲，经验风险样本

经过裁剪变成

其中

是裁剪得到的图像，

是该图像对应的真实目标，因此邻域风险特征点在此基础之上做如下重定义：

q＝argmax(M_c)，

和

分别代表来自参与融合图像中拥有目标最多的图和真实目标，

是其他图像。σ是常系数，σM决定了融合几张小图。c是整数,c∈[1，σM]。M_c表示待融合图像中目标数。q是M_c中的一个自变量。

在本发明中，预测训练裁剪图像得到的模型误差由经验风险得到：

在本发明中，预测训练融合图像得到的模型误差由邻域风险得到：

S4、合并融合后的小图和切割后没有融合的小图组合成新的数据图，起到扩充数据集的作用，以此有效避免训练检测网络会过拟合。

步骤S4具体为，将S3中融合后的图像和S2中的小图混合在一起组成新的数据集，数据集以此得到了有效的扩充，新得到的数据集在计算风险最小化被定义为特殊风险最小化(Special Risk Minimization)，公式为：

其中n表示经过多方位切割大图所得到的所有小图数目，m表示融合后所有小图的数目,a和b是融合后的小图和没有被融合的小图，

a+b＝1。例如当σ等于0.5时，a:b＝2:1。

图4阐述了本发明中从裁剪到融合的全部过程。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (9)

1.一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：包括以下步骤：

S1：通过调整不多于两个的参数裁剪高分辨率图像，得到大小相同的适合训练检测网络的小尺寸图像；

S2：通过标签的边缘处理算法将高分辨率图像中目标的特征点重定义到对应的小尺寸图像中以裁剪图像和图像对应的目标和标签；具体步骤为：

S21：将高分辨率图像唯一对应的标签按高分辨率图像裁剪的份数裁剪，得到裁剪后的小尺寸图像的标签与小尺寸图像一一匹配，具体步骤为：

在高分辨率图像的标签中，设高分辨率图像中的每个目标对应的两个特征点分别为(x₁，y₁)和(x₂，y₂)，对应的小尺寸图像中分别等价于(x₁，y₁)和(x₂，y₂)的特征点的坐标为(x′₁,y′₁)和(x′₂,y′₂)，判定裁剪位置的参数别为i＝(int)x₁/w和j＝(int)y₁/h；

S22：通过标签的边缘处理算法将高分辨率图像中的目标按被裁剪的份数重定义并分配到对应的小尺寸图像的标签中；具体步骤为：

判断目标是否存在越界行为，若目标object_k的点a和点c经过裁剪仍处在同一个小尺寸图像中，则目标object_k未越界，相应的特征点为：

若点a和点c不在同一小尺寸图中，且目标object_k出现了横向越界并被分成两部分，由点a和点g确定新的目标object_{_1}，相应的特征点为：

由点d和点c确定新的目标object_{_2}，相应的特征点为：

若点a和点c不在同一小尺寸图中，且目标object_k出现了纵向越界并被分成两部分，由点a和点e确定新的目标object_{_1}，相应的特征点为：

由点f和点c确定新的目标object_{_2}，相应的特征点为：

若点a与点c不在同一小尺寸图中，且目标object_k出现了横纵两部分的越界并被分成四部分，由点a和点b确定新的目标object_{_1}，相应的特征点为：

由点g和点c确定新的目标object_{_2}，相应的特征点为：

由点f和点d确定新的目标object_{_3}，相应的特征点为：

由点b和点c确定新的目标object_{_4}，相应的特征点为：

将目标object_{_1}、目标object_{_2}、目标object_{_3}、目标object_{_4}中的特征点分配到对应的小尺寸图像的标签中；

S3：对比每张裁剪后的小尺寸图像中的目标数量，将拥有最多目标的小尺寸图像作为主要信息，把剩下的小尺寸图像作为背景融合，融合小尺寸图像的数量为两张或两张以上，得到大小不变的融合图像；

S4：将融合图像与没有融合的小尺寸图像组合成新的数据集，用于在扩充数据集的同时避免过拟合。

2.根据权利要求1所述的一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：所述的步骤S1中，具体步骤为：

S11：按照一定的比例将高分辨率图像划分为训练集和测试集；

S12：裁剪训练集，具体步骤为：

S121：统计一个数据集中的高分辨率图像是否是相同大小，若不是则将相同大小的高分辨率图像分为一类；

S122：设高分辨率图像的宽为W，高为H，由训练检测网络提取小尺寸图像的大小得到被裁减后的小尺寸图像的宽为w，高为h，则用于裁剪分类好的高分辨率图像的参数N和M为：

N＝H/h，

M＝W/w；

S123：若W/w或H/h求余不等于0，则调大w或h的值直到求余等于0为止；

S13：裁剪测试集，具体步骤为：取重叠比例的值为大于等于15％且小于50％进行裁剪。

3.根据权利要求2所述的一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：所述的步骤S2中，具体步骤为：

设高分辨率图像的特征点的坐标为(x，y)，对应的小尺寸图像中等价于(x，y)的特征点的坐标为(x′,y′)，设通过标签的边缘处理算法决定小尺寸图像对应高分辨率图像的位置参数为i和j，则高分辨率图像的特征点在小尺寸图像中对应的位置信息为：

4.根据权利要求3所述的一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：所述的步骤S3中，具体步骤为：

S31：将裁剪高分辨率图像得到N×M张大小相同的小尺寸图像组成方形矩阵；N×M张大小相同的小尺寸图像对应N×M个标签，每个小尺寸图像有唯一对应的标签；

S32：当N×M＝4×4时，在方形矩阵的一行中融合4张小尺寸图像得到1张融合图像，具体步骤为：

分别计算该行中每张小尺寸图像的目标数量，将拥有目标最多的小尺寸图像定义为图A；

设融合系数为λ和ξ；λ服从β分布，λ～β(7,3)；ξ随机分布在区间[0.05，0.1]；

将图A的特征信息乘以λ，该行中其余三张小尺寸图像的特征信息乘以ξ，融合得到1张融合图像；

S33：设融合图像的预测样本为

对应的真实样本为

则经验风险样本为

预测误差函数为l，联合分布为P，预测模型为f，预测函数为f(·)，按照经验风险的思想计算融合前的小尺寸图像的平均损失，公式如下：

对融合图像进行邻域风险最小化的求解用于使融合以后的图像风险最小化从而降低融合图像的损失，公式如下：

5.根据权利要求4所述的一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：用如下步骤替换所述的步骤S32：当N×M＝4×4时，在方形矩阵的一行中分别融合2张小尺寸图像得到2张融合图像，具体步骤为：

分别计算每张小尺寸图像的目标数量，将拥有目标最多的两张小尺寸图像分别定义为图A1和图A2；

设融合系数为λ和ξ；λ服从β分布，λ～β(7,3)；ξ随机分布在区间[0.05，0.1]；

将图A1和图A2的特征信息分别乘以λ，其余小尺寸图像的特征信息乘以ξ，将乘以λ后的图A1和图A2分别与乘以ξ后的其余小尺寸图像两两融合得到两张融合图像。

6.根据权利要求4所述的一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：所述的步骤S33中，经验风险最小化和邻域风险最小化的特征点分布根据图像的裁剪和重定义进行相应的重定义，具体步骤为：

设裁剪得到的图像为

的真实样本为

则经验风险样本

经过裁剪变成

拥有最多目标的小尺寸图像为

真实目标为

其他图像为

常系数为σ，σM用于决定融合几张小尺寸图像；整数c∈[1，σM]，待融合图像中目标数为M_c；q是M_c中的一个自变量，则邻域风险特征点按如下公式重定义：

q＝argmax(M_c)；

由经验风险得到预测训练裁剪图像得到的模型误差为：

由邻域风险得到预测训练融合图像得到的模型误差为：

7.根据权利要求4所述的一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：所述的步骤S4中，具体步骤为：

设高分辨率图像裁剪后得到的小尺寸图像的数目为n，融合后的所有图像的数目为m，融合图像为a，没有被融合的小尺寸图像为b，

则通过特殊风险最小化求解融合图像与没有融合的小尺寸图像组合成的新的数据集的计算风险最小化的公式为：

8.根据权利要求6或7所述的一种用于密集小目标的高分辨率图像的数据增强方法，其特征在于：所述的步骤S4中，裁剪后的特殊风险最小化的公式重定义为：

9.一种计算机存储介质，其特征在于：其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行如权利要求1至权利要求8中任意一项所述的一种用于密集小目标的高分辨率图像的数据增强方法。

Images