CN114266975A - 无人机遥感图像的荔枝果实检测与计数方法 - Google Patents

Abstract

本发明公开了一种无人机遥感图像的荔枝果实检测与计数方法，包括：采集果园果实无人机遥感图像，构建图像数据库；建立荔枝树冠分割模型，获取荔枝树冠分割结果图；建立荔枝果实检测模型，对输入的树冠分割结果图进行两个阶段检测，第一阶段检测能够对非密集果实区域进行准确检测，第二阶段能够对密集果实区域进行精准检测；分别统计非密集果实区域与密集果实区域的检测结果，得到最终的果实检测数量。本发明解决了无人机遥感图像的荔枝果实检测中，果实目标小、密集、重叠和遮挡导致目标检测精度低的问题。

Description

无人机遥感图像的荔枝果实检测与计数方法

技术领域

本发明涉及目标识别及智慧农业的技术领域，尤其是指一种无人机遥感图像的荔枝果实检测与计数方法。

背景技术

随着计算机视觉和智慧农业的快速发展，果实检测技术已成为研究热点，果实产量统计对于果实收获作业计划和市场营销策略起着至关重要的作用。收获果实之前准确地统计果园产量，在现阶段，有助于管理者根据园区果实分布情况合理地分配劳动力，及时调整生产管理和销售策略，能够有效的节省生产资料投入。随着无人机技术的发展与成熟，搭载不同传感器的无人机遥感技术可以按需获取高时空分辨率的遥感数据，为果园的大面积、高精度估产提供了可能。

近年来，各种目标检测算法层出不穷，深度学习技术逐渐替代传统的计算机视觉技术，在精度和实时性上都有了很大的提升，为智慧果园的产量统计提供了可能。

现有的果实计数方法有很多，但都存在以下弊端：

1、由于无人机拍摄高度，导致荔枝果实目标较小，而小目标特征少，因此，小目标检测一直是目标检测中的难题。图二为训练集、验证集和测试集统计的荔枝果实尺寸热图，从图中可以看出荔枝果实尺寸集中在12像素×12像素，属于小目标检测范围。

2、目前已有的果实计数方法在无遮挡条件下的计数精度较高，对于密集、重叠、遮挡程度较高的果实无法进行有效的统计，在产量统计上会造成较大的偏差。

3、荔枝果实落果严重，现有的估产算法很容易将落果作为产量的一部分，导致估产存在较大的误差。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种无人机遥感图像的荔枝果实检测与计数方法，借助无人机获取遥感图像，能够按需获取高时空分辨率的遥感数据，且能够解决大面积作业问题。首先进行树冠分割，尽在树冠区域进行果实目标检测，避免落果的错误计入，然后借助荔枝果实检测模型，融合超分辨率操作，以提高目标密集区域的分辨率，并在超分图像上检测密集果实，使得密集果实区域目标的检测性能有了显著的提升，既提高了果实检测精度又避免了计算大幅度增加。

为实现上述目的，本发明所提供的技术方案为：无人机遥感图像的荔枝果实检测与计数方法，包括以下步骤：

S1、采集果园果实无人机遥感图像，构建图像数据库,并划分训练集Set_or、验证集Set_val和用于后续测试统计检测指标的测试集，且从训练集Set_or中挑选果实密集的图像进一步处理，构建超分图像训练集Set_SR；

S2、建立荔枝树冠分割模型，用图像数据库中的训练集Set_or和验证集Set_val对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图；

S3、建立荔枝果实检测模型，对输入的树冠分割结果图的所有区域都进行目标检测，称为第一阶段检测，最终根据荔枝果实检测模型的热图分支、宽高分支和偏移量分支获取检测结果，其中，根据第一阶段检测的热图分支输出的热图划分密集果实区域和非密集果实区域，第一阶段检测能够对非密集果实区域进行准确检测，但对于密集果实区域会存在漏检情况，主要原因为密集果实区域遮挡严重，单个目标尺寸小和特征少，因此需要进行第二阶段检测，该第二阶段检测需要根据第一阶段检测的热图分支输出的热图确定密集果实区域，再对密集果实区域进行超分辨率操作获取超分密集果实图像，最后对超分密集果实图像进行二次特征提取和目标定位，以实现密集果实区域的精准检测；

S4、分别统计第一阶段检测的非密集果实区域与第二阶段检测的密集果实区域的检测结果，得到最终的果实检测数量。

进一步，所述步骤S1具体步骤如下：

S11、借助大疆精灵4RTK无人机获取果树图像；

S12、剔除无人机所采集的质量差的图像，构建图像数据库，并划分训练集Set_or、验证集Set_val和测试集；

S13、对图像数据库中的图像采用LabelImg标注工具进行人工标注；

S14、从训练集Set_or中挑选果实密集的图像，对果实密集区域进行裁剪超分，利用映射关系将标注边界框映射到超分图像上，获得超分图像标签，将超分图像及对应标签形成超分图像训练集Set_SR。

进一步，所述步骤S2具体步骤如下：

S21、选用Mask-RCNN作为荔枝树冠分割模型；

S22、用图像数据库中的训练集和验证集对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图。

进一步，在步骤S3，选择基于无锚点的目标检测算法CenterNet作为荔枝果实检测模型的基本框架，其特征提取主干网络为DLA-34，进行网络改进，以适应小目标特征提取，即采用了改进的CenterNet，具体如下：

DLA-34包括5个level层，分别为level1、level2、level3、level4和level5，在level1层不进行下采样，则输入图像由原来四倍下采样调整至二倍下采样，网络输出特征尺寸由原来的128×128变为256×256，避免因为过度下采样导致小目标特征丢失；

在level1和level2层中使用空洞卷积，增加感受野；

特征提取主干网络输出包含三个分支，分别为热图分支hm、宽高分支wh和偏移量分支reg，增大hm输出的热图最大峰值数peak，以适应密集果实的检测；

增加热图损失权重系数λ_hm，最终损失L_det如公式(1)所示：

L_det＝λ_hmL_k+λ_sizeL_size+λ_offL_off (1)

式中，L_k、L_size、L_off分别为hm、wh和reg的损失函数，系数λ_hm、λ_size和θ_off和分别为hm、wh和reg的损失权重系数；

在荔枝果实检测模型训练中，用训练集Set_or和Set_SR对该荔枝果实检测模型进行交替训练，使荔枝果实检测模型适应原始图像和超分图像果实目标检测；

在第二阶段检测中，对密集果实区域进行如下检测：

首先，利用第一阶段检测的热图分支输出的热图形成密集果实区域的拼接图I_mosc，具体如下：

热图是一张二维图，坐标点的值代表接近目标中心的概率；设置热图阈值，对热图进行阈值分割，而后进行开操作，先去除离散的目标区域，再平滑果实密集区域连通域边界，以获得密集果实候选区域；

将密集果实候选区域映射回原图，裁剪相应矩形框；若m个不同区域的矩形框发生重叠，则形成覆盖这m个区域的矩形框，其中m为2个或3个以上；最终形成n个互不重叠的密集果实候选区域矩形框；

将n个密集果实候选区域矩形框，利用矩形件排样问题的遗传算法，拼接为密集果实候选区域图，使其最小面积；

将n个密集果实候选区域矩形框看做n个矩形件，将拼接的密集果实候选区域图看作排样图；如此，n个密集果实候选区域矩形框拼接问题，能转化为矩形件排样优化问题，即在给定的矩形板材上排放所需要的n个矩形件，使排放区域的板材废料尽可能地少，以达到节省板材的目的；

计算n个矩形件的面积总和A，选择板材的宽度Width；

利用BL(Bottle-Left Condition)算法与遗传算法相结合，求解最优排样图，即获得n个密集果实候选区域矩形框的拼接图I_mosc，遗传算法适宜度函数f(P)如公式(2)所示：

f(P)＝H-h(P)+Area/(h(P)×Width) (2)

式中，P为父辈个体，是n个矩形件的一种排样P＝{p₁，p₂，…，p_i，…，p_n}，p_i为整数，有正负之分，且1≤|p_i|≤n，表示矩形件的编号，p_i为负值时表示矩形件旋转90度后再排放；h(P)为排样高度，H为一个事先选定的高度值，为一常数，其值应确保使H≥h(P)的值为正；Area为可再利用废料的面积，h(P)×Width为排样所需矩形板材的面积，Area＝h(P)×Width-A；

用0填充拼接图I_mosc空白区域，得到128×128尺寸的图像I_resize；

对图像I_resize，利用超分辨率网络，进行超分辨率操作，具体如下：

超分辨率网络使用SRGAN网络，SRGAN网络对抗损失由GAN提供，根据图像是否能够欺骗过判别网络进行训练，放大因子为4，网络输入为图像I_resize；

加载预先训练好的SRGAN网络模型，输入图像I_resize，最终超分图像I_SR像素为512×512；

将超分图像I_SR输入到特征提取主干网络中进行二次特征提取和目标定位，从而实现对密集果实区域的精准检测。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明数据采集是借助无人机获取的，采集图像信息能够迅速覆盖整个园区，在数据采集方面节省大量的人力，符合当今智慧果园的潮流。这些数据为后面树冠分割、果实检测、估产统计提供了数据支持。

2、本发明在检测果实前先进行了树冠分割，在分割的有效区域内计数，解决了因为落果导致的误检问题，大大提高了估产精度。

3、本发明提出一种荔枝果实检测模型，将超分融合到CenterNet中，提高了目标密集区域的分辨率，使得密集区域目标的检测和小目标的检测性能有了显著的提升。

附图说明

图1是本发明方法的流程图。

图2是目标尺寸统计热图。

图3是本发明所采用的改进的CenterNet网络结构图。

图4是实验结果对比图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供一种无人机遥感图像的荔枝果实检测与计数方法，该方法可解决无人机遥感图像的荔枝果实重叠、遮挡、小目标给检测带来的困难，以实现果园精准精准计数，提高果园的智能化管理程度。该方法在Ubuntu14.04操作系统下，基于NvidiaGTX 980Ti的GPU硬件平台上搭建Pytorch深度学习框架，进行树冠分割和果实检测模型的训练和测试。其具体实现步骤为：

步骤一：采集果园果实无人机遥感图像，构建图像数据库，包括数据集采集、数据预处理、数据标注和数据集建立，为后续实验提供数据支持。

步骤二：建立荔枝树冠分割模型，对输入的无人机遥感图像进行测试，获取每棵荔枝树的树冠分割结果图。

步骤三：建立荔枝果实检测模型，对输入的树冠分割结果图的所有区域都进行目标检测，称为第一阶段检测，最终根据荔枝果实检测模型的热图分支、宽高分支和偏移量分支获取检测结果，其中，根据第一阶段检测的热图分支输出的热图划分密集果实区域和非密集果实区域，第一阶段检测能够对非密集果实区域进行准确检测，但对于密集果实区域会存在漏检情况，主要原因为密集果实区域遮挡严重，单个目标尺寸小和特征少，见图2所示，因此需要进行第二阶段检测，该第二阶段检测需要根据第一阶段检测的热图分支输出的热图确定密集果实区域，再对密集果实区域进行超分辨率操作获取超分密集果实图像，最后对超分密集果实图像进行二次特征提取和目标定位，以实现密集果实区域的精准检测。

步骤四：根据非密集果实区域和密集果实区域的划分，分别统计第一阶段非密集果实区域与第二阶段密集果实区域的检测结果，得到最终的果实检测数量。

所述步骤一，具体步骤包括：

1)采用大疆精灵4RTK无人机获取果园树冠图像，搭载的摄像头最大倾斜角度为-90至+30，内置摄像头有效像素为2000万，图像分辨率为3840×2160，飞行高度6m。

2)拍摄时间为2021年5月，拍摄地点位于广州某荔枝园。将拍摄的无人机遥感图像进行筛选，剔除重复数据和质量较差的数据，由于无人机遥感图像分辨率为3840×2160，图像尺寸过大，直接resize会造成果实目标信息丢失，所以将每张原始遥感图像裁剪成互不重叠的20幅分辨率大小为768×540的图像I，裁剪后的图像总数为500张，按照8:1:1比例划分为训练集Set_or、验证集Set_val和测试集，并采用旋转、水平翻转、随机裁剪、亮度变换的方式进行了数据扩增。

3)数据标注采用LabelImg标注工具进行标注，标注规则为：对于被遮挡的目标，如果遮挡面积超过80％，则忽略不标，遮挡面积小于80％，遮挡部分按照预测来标。

4)从训练集Set_or中挑选密集果实的图像，对密集果实区域进行裁剪超分，利用映射关系将标注边界框映射到超分图像上，获得超分图像标签，将超分图像及对应标签形成超分图像训练集Set_SR。

所述步骤二，具体步骤为选用Mask-RCNN建立荔枝树冠分割模型，用图像数据库中的训练集Set_or和验证集Set_val对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图。

所述步骤三，具体步骤包括：

见图3所示，选择基于无锚点的目标检测算法CenterNet作为荔枝果实检测模型的基本框架，其特征提取主干网络为DLA-34，进行网络改进，以适应小目标特征提取，即采用了改进的CenterNet，具体如下：

DLA-34包括5个level层，分别为level1、level2、level3、level4和level5，在level1层不进行下采样，则输入图像由原来四倍下采样调整至二倍下采样，网络输出特征尺寸由原来的128×128变为256×256，避免因为过度下采样导致小目标特征丢失；

在level1和level2层中使用空洞卷积，增加感受野；

特征提取主干网络输出包含三个分支，分别为热图分支hm、宽高分支wh和偏移量分支reg，增大hm输出的热图最大峰值数peak，以适应密集果实的检测；

增加热图损失权重系数λ_hm，最终损失L_det如公式(1)所示：

L_det＝λ_hmL_k+λ_sizeL_size+λ_offL_off (1)

式中，L_k、L_size、L_off分别为hm、wh和reg的损失函数，系数λ_hm、λ_size和θ_off和分别为hm、wh和reg的损失权重系数；

在荔枝果实检测模型训练中，用训练集Set_or和Set_SR对该荔枝果实检测模型进行交替训练，使荔枝果实检测模型适应原始图像和超分图像果实目标检测；

在第二阶段检测中，对密集果实区域进行如下检测：

首先，利用第一阶段检测的热图分支输出的热图形成密集果实区域的拼接图I_mosc，具体如下：

热图是一张二维图，坐标点的值代表接近目标中心的概率；设置热图阈值，对热图进行阈值分割，而后进行开操作，先去除离散的目标区域，再平滑果实密集区域连通域边界，以获得密集果实候选区域；

将密集果实候选区域映射回原图，裁剪相应矩形框；若m个不同区域的矩形框发生重叠，则形成覆盖这m个区域的矩形框，其中m为2个或3个以上；最终形成n个互不重叠的密集果实候选区域矩形框；

将n个密集果实候选区域矩形框，利用矩形件排样问题的遗传算法，拼接为密集果实候选区域图，使其最小面积；

将n个密集果实候选区域矩形框看做n个矩形件，将拼接的密集果实候选区域图看作排样图；如此，n个密集果实候选区域矩形框拼接问题，能转化为矩形件排样优化问题，即在给定的矩形板材上排放所需要的n个矩形件，使排放区域的板材废料尽可能地少，以达到节省板材的目的；

计算n个矩形件的面积总和A，选择板材的宽度Width；

利用BL(Bottle-Left Condition)算法与遗传算法相结合，求解最优排样图，即获得n个密集果实候选区域矩形框的拼接图I_mosc，遗传算法适宜度函数f(P)如公式(2)所示：

f(P)＝H-h(P)+Area/(h(P)×Width) (2)

式中，P为父辈个体，是n个矩形件的一种排样P＝{p₁，p₂，…，p_i，…，p_n}，p_i为整数，有正负之分，且1≤|p_i|≤n，表示矩形件的编号，p_i为负值时表示矩形件旋转90度后再排放；h(P)为排样高度，H为一个事先选定的高度值，为一常数，其值应确保使H≥h(P)的值为正；Area为可再利用废料的面积，h(P)×Width为排样所需矩形板材的面积，Area＝h(P)×Width-A；

用0填充拼接图I_mosc空白区域，得到128×128尺寸的图像I_resize；

对图像I_resize，利用超分辨率网络，进行超分辨率操作，具体如下：

超分辨率网络使用SRGAN网络，SRGAN网络对抗损失由GAN提供，根据图像是否能够欺骗过判别网络进行训练，放大因子为4，网络输入为图像I_resize；

加载预先训练好的SRGAN网络模型，输入图像I_resize，最终超分图像I_SR像素为512×512；

将超分图像I_SR输入到特征提取主干网络中进行二次特征提取和目标定位，从而实现对密集果实区域的精准检测。

所述步骤四，统计果实数量具体包括：

统计第一阶段检测的非密集果实区域与第二阶段检测的密集果实区域的检测结果，得到最终的果实检测数量。

下面详细说明本实验的实验结果：

本发明采用业界公认的3个评价指标对测试集的检测结果进行统计，分别为准确率P(Precision)、召回率R(Recall)、平均精确率mAP(Mean Average Precision)，其公式定义如公式(3)-(5)所示：

其中，TP为图像中被正确检测的目标个数，FP为图像中非目标被检测的个数，FN为图像中目标被检测成其它种类物体的个数。精确率是PR曲线与坐标轴围成的面积，平均精确率mAP是多类别AP的平均值即P对R的积分。

采用上述公式对测试集进行计算，统计结果如表1所示。

传统的CenterNet检测方法和本发明提出的改进的CenterNet对比结果如图所示，相比传统的CenterNet检测算法，本发明提出的方法针对密集小目标检测效果更好，精确率和召回率都有明显的提升。

传统的CenterNet和改进的CenterNet对比结果如图4所示，图中(a)和(c)为传统的CenterNet检测结果图，图中(b)和(d)图为改进的CenterNet检测结果图。从(a)和(b)对比可以看出，改进的Centernet对密集果实区域目标的检测有了很大的提升，大大提高了密集果实区域的召回率。从(c)和(d)对比可以看出改进的Centernet对小目标的检测有了很大的提升，大大提高了小目标的召回率。(c)右下角区域目标极小，平均像素6个像素，原方法漏检严重，而本发明方法检测效果较好。

表1 网络结果对比

方法	Precision	Recall	mAP
				传统的CenterNet	0.903	0.653	0.339
改进的CenterNet	0.962	0.913	0.591

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.无人机遥感图像的荔枝果实检测与计数方法，其特征在于，包括以下步骤：

S1、采集果园果实无人机遥感图像，构建图像数据库，并划分训练集Set_or、验证集Set_val和用于后续测试统计检测指标的测试集，且从训练集Set_or中挑选果实密集的图像进一步处理，构建超分图像训练集Set_SR；

S2、建立荔枝树冠分割模型，用图像数据库中的训练集Set_or和验证集Set_val对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图；

S3、建立荔枝果实检测模型，对输入的树冠分割结果图的所有区域都进行目标检测，称为第一阶段检测，最终根据荔枝果实检测模型的热图分支、宽高分支和偏移量分支获取检测结果，其中，根据第一阶段检测的热图分支输出的热图划分密集果实区域和非密集果实区域，第一阶段检测能够对非密集果实区域进行准确检测，但对于密集果实区域会存在漏检情况，主要原因为密集果实区域遮挡严重，单个目标尺寸小和特征少，因此需要进行第二阶段检测，该第二阶段检测需要根据第一阶段检测的热图分支输出的热图确定密集果实区域，再对密集果实区域进行超分辨率操作获取超分密集果实图像，最后对超分密集果实图像进行二次特征提取和目标定位，以实现密集果实区域的精准检测；

S4、分别统计第一阶段检测的非密集果实区域与第二阶段检测的密集果实区域的检测结果，得到最终的果实检测数量。

2.根据权利要求1所述的无人机遥感图像的荔枝果实检测与计数方法，其特征在于，所述步骤S1具体步骤如下：

S11、借助大疆精灵4RTK无人机获取果树图像；

S12、剔除无人机所采集的质量差的图像，构建图像数据库，并划分训练集Set_or、验证集Set_val和测试集；

S13、对图像数据库中的图像采用LabelImg标注工具进行人工标注；

S14、从训练集Set_or中挑选果实密集的图像，对果实密集区域进行裁剪超分，利用映射关系将标注边界框映射到超分图像上，获得超分图像标签，将超分图像及对应标签形成超分图像训练集Set_SR。

3.根据权利要求1所述的无人机遥感图像的荔枝果实检测与计数方法，其特征在于，所述步骤S2具体步骤如下：

S21、选用Mask-RCNN作为荔枝树冠分割模型；

S22、用图像数据库中的训练集和验证集对该荔枝树冠分割模型进行训练并验证，获取每棵荔枝树的树冠分割结果图。

4.根据权利要求1所述的无人机遥感图像的荔枝果实检测与计数方法，其特征在于，在步骤S3，选择基于无锚点的目标检测算法CenterNet作为荔枝果实检测模型的基本框架，其特征提取主干网络为DLA-34，进行网络改进，以适应小目标特征提取，即采用了改进的CenterNet，具体如下：

DLA-34包括5个level层，分别为level1、level2、level3、level4和level5，在level1层不进行下采样，则输入图像由原来四倍下采样调整至二倍下采样，网络输出特征尺寸由原来的128×128变为256×256，避免因为过度下采样导致小目标特征丢失；

在level1和level2层中使用空洞卷积，增加感受野；

特征提取主干网络输出包含三个分支，分别为热图分支hm、宽高分支wh和偏移量分支reg，增大hm输出的热图最大峰值数peak，以适应密集果实的检测；

增加热图损失权重系数λ_hm，最终损失L_det如公式(1)所示：

L_det＝λ_hmL_k+λ_sizeL_size+λ_offL_off (1)

式中，L_k、L_size、L_off分别为hm、wh和reg的损失函数，系数λ_hm、λ_size和λ_off和分别为hm、wh和reg的损失权重系数；

在荔枝果实检测模型训练中，用训练集Set_or和Set_SR对该荔枝果实检测模型进行交替训练，使荔枝果实检测模型适应原始图像和超分图像果实目标检测；

在第二阶段检测中，对密集果实区域进行如下检测：

首先，利用第一阶段检测的热图分支输出的热图形成密集果实区域的拼接图I_mosc，具体如下：

热图是一张二维图，坐标点的值代表接近目标中心的概率；设置热图阈值，对热图进行阈值分割，而后进行开操作，先去除离散的目标区域，再平滑果实密集区域连通域边界，以获得密集果实候选区域；

将密集果实候选区域映射回原图，裁剪相应矩形框；若m个不同区域的矩形框发生重叠，则形成覆盖这m个区域的矩形框，其中m为2个或3个以上；最终形成n个互不重叠的密集果实候选区域矩形框；

将n个密集果实候选区域矩形框，利用矩形件排样问题的遗传算法，拼接为密集果实候选区域图，使其最小面积；

将n个密集果实候选区域矩形框看做n个矩形件，将拼接的密集果实候选区域图看作排样图；如此，n个密集果实候选区域矩形框拼接问题，能转化为矩形件排样优化问题，即在给定的矩形板材上排放所需要的n个矩形件，使排放区域的板材废料尽可能地少，以达到节省板材的目的；

计算n个矩形件的面积总和A，选择板材的宽度Width；

利用BL算法与遗传算法相结合，求解最优排样图，即获得n个密集果实候选区域矩形框的拼接图I_mosc，遗传算法适宜度函数f(P)如公式(2)所示：

f(P)＝H-h(P)+Area/(h(P)×Width) (2)

式中，P为父辈个体，是n个矩形件的一种排样P＝{p₁,p₂,…,p_i,…,p_n}，p_i为整数，有正负之分，且1≤|p_i|≤|n，表示矩形件的编号，p_i为负值时表示矩形件旋转90度后再排放；h(P)为排样高度，H为一个事先选定的高度值，为一常数，其值应确保使H≥h(P)的值为正；Area为可再利用废料的面积，h(P)×Width为排样所需矩形板材的面积，Area＝h(P)×Width-A；

用0填充拼接图I_mosc空白区域，得到128×128尺寸的图像I_resize；

对图像I_resize，利用超分辨率网络，进行超分辨率操作，具体如下：

超分辨率网络使用SRGAN网络，SRGAN网络对抗损失由GAN提供，根据图像是否能够欺骗过判别网络进行训练，放大因子为4，网络输入为图像I_resize；

加载预先训练好的SRGAN网络模型，输入图像I_resize，最终超分图像I_SR像素为512×512；

将超分图像I_SR输入到特征提取主干网络中进行二次特征提取和目标定位，从而实现对密集果实区域的精准检测。

Images