CN115984846A - 一种基于深度学习的高分辨率图像中小目标的智能识别方法 - Google Patents

Abstract

一种基于深度学习的高分辨率图像中小目标的智能识别方法，使用目标检测方法完成疑似目标区域的初步定位，过滤掉大部分无用信息，得到高分辨率的疑似目标区域图像，将大小不同的高分辨率图像切分为若干个patch块，构建残差嵌套交互识别网络，学习高分辨率patch块中的目标细节特征，完成单个patch块的识别，以及对可能存在误差的patch块进行再次识别，进而得到更加准确的识别结果，进一步保证小目标检测的精确度。

Description

一种基于深度学习的高分辨率图像中小目标的智能识别方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种识别结果准确、保证小目标检测精确度的识别方法。

背景技术

随着大数据时代的到来，以深度学习为代表的人工智能技术飞速发展，在医学图像识别、光学遥感图像检测等领域取得显著成效。随着传感器技术及设备的不断发展，出现了越来越多的高分辨率图像，高分辨率图像中往往包含更多的形态、颜色、空间关系、纹理等细节特征，对于深度学习中卫星地图中目标检测和医学影像分析领域具有重要意义，而对于高分辨率的卫星图像和医学图像中的小目标识别和检测，以往的方法存在一定的局限性，比如，直接将高分辨率图像按照从上到下，从左到右的方法，切割为一个个的子图(相互之间有交叉)，然后基于子图做训练，该方法对于检测很小的物体，效率得到明显的提升，但在对小图做合并时，可能会有类别判断错误或者边框预测不准的情况，进而导致无法合并；采用特征金字塔结构学习高分辨率图像的多尺度特征，但容易造成图像中的小目标特征丢失，影响识别效率。因此，如何设计一种基于深度学习的高分辨率图像中小目标的智能识别方法仍是一个挑战性的问题。

发明内容

本发明为了克服以上技术的不足，提供了一种识别结果准确、保证小目标检测精确度的识别方法。

本发明克服其技术问题所采用的技术方案是：

一种基于深度学习的高分辨率图像中小目标的智能识别方法，包括如下步骤：

a)获取N个原始高分辨率图像，对每个原始高分辨率图像进行预处理，得到图像大小为H×W的预处理后的高分辨率图像P，其中H为图像的高，W为图像的宽。

b)将N个预处理后的高分辨率图像P输入到小目标检测网络中，输出得到N个疑似目标区域图像P_BT。

c)将N个疑似目标区域图像P_BT映射到预处理后的高分辨率图像P上进行剪裁得到N个高分辨率目标图像P_H，

P_i为第i个高分辨率目标图像，

R为实数空间，h_i为第i个高分辨率目标图像的高，w_i为第i个高分辨率目标图像的宽，C为维度，其中疑似目标区域图像P_BT的疑似目标区域表示为[t_x,t_y,t_w,t_h]，t_x为预测框的中心的横坐标，t_y为预测框的中心的纵坐标，t_w为预测框的宽度，t_h为预测框的高度，预处理后的高分辨率图像P的疑似目标区域表示为[t_x×n,t_y×n,t_w×n,t_h×n]，n为图像缩放比例，

d)在预处理后的高分辨率图像P上训练小目标检测网络。

e)将N个高分辨率目标图像P_H中每个图像通过重叠滑动窗口的方式切分为M个patch块，得到图像P_Patch，

PA_ij为第i个高分辨率目标图像的第j个patch块。

f)构建残差嵌套交互识别网络，将图像P_Patch输入到残差嵌套交互识别网络中，输出得到每个Patch块的识别结果CL，

C_ij为第i个高分辨率目标图像的第j个patch块的识别结果，C_ij∈[0,1]。

g)对第i个高分辨率目标图像中的若干个patch块的识别结果进行聚合，得到第i个高分辨率目标图像的最终识别结果L_i，

其中符合

表示任意，符号

表示存在，如果第i个高分辨率目标图像的最终识别结果L_i为1时，则第i个高分辨率目标图像被识别为存在目标，如果第i个高分辨率目标图像的最终识别结果L_i为0，则第i个高分辨率目标图像被识别为不存在目标。

进一步的，步骤a)中预处理的方法为：

a-1)将原始高分辨率图像进行剪裁，去除原始高分辨率图像中的设备信息、时间信息；

a-2)将剪裁后的原始高分辨率图像的大小调整为H×W，得到预处理后的高分辨率图像P。

进一步的，步骤b)包括如下步骤：

b-1)将原始高分辨率图像P由H×W缩放至h×w；

b-2)所述小目标检测网络为YOLOV3网络，将缩放后的原始高分辨率图像P输入到YOLOV3网络的Darknet-53层中，分别得到

的特征图、

的特征图、

的特征图；

b-3)将

的特征图、

的特征图、

的特征图输入到YOLOV3网络的FPN层中，分别输出得到

的特征融合后的特征图、

的特征融合后的特征图、

的特征融合后的特征图；

b-4)将

的特征融合后的特征图、

的特征融合后的特征图、

的特征融合后的特征图分别输入到YOLOV3网络的Yolo Head层中，输出得到疑似目标区域图像P_BT。

优选的，步骤b-1)中

进一步的，步骤d)包括如下步骤：

d-1)通过公式L＝λ₁L_conf+λ₂L_cl+λ₃L_loc计算得到损失函数L，式中λ₁、λ₂、λ₃均为平衡系数，L_conf为目标定位偏移量损失，L_cl为目标置信度损失，L_loc为目标分类损失；

d-2)将预处理后的高分辨率图像P按照4:1的比例划分为训练集和测试集；

d-3)利用损失函数L使用梯度下降法对YOLOV3网络进行训练，使用训练集作为验证集，训练阶段进行200轮迭代，每隔2轮使用验证集进行一次验证，将最优的验证结果作为基准保存网络模型权重。

进一步的，步骤f)包括如下步骤：

f-1)建立依次由特征提取模块、特征增强模块、多尺度特征融合模块、平均池化层、全连接层及softmax函数层构成的残差嵌套交互识别网络；

f-2)所述特征提取模块由第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层、下采样层及上采样层构成，第一特征提取层由第一残差块、第二残差块、第三残差块、第四残差块构成，第二特征提取层由第一残差块、第二残差块、第三残差块构成，第三特征提取层由第一残差块、第二残差块构成，第四特征提取层由第一残差块构成，第一残差块、第二残差块、第三残差块、第四残差块均依次由第一卷积层、第一relu激活函数层、第二卷积层、第二relu激活函数层构成，下采样层依次由二维卷积层、BN归一化层、relu激活函数层构成，上采样层依次由填充层、卷积层及relu激活函数层构成，将图像P_Patch输入到特征提取模块的第一特征提取层的第一残差块中，输出得到特征FO₁，将特征FO₁输入到特征提取模块的下采样层中，输出得到特征FD₁，将特征FD₁输入到特征提取模块的第二特征提取层的第一残差块中，输出得到特征FT₁，将特征FT₁输入到特征提取模块的下采样层中，输出得到特征FD₂，将特征FD₂输入到特征提取模块的第三特征提取层的第一残差块中，输出得到特征FH₁，将特征FH₁输入到特征提取模块的下采样层中，输出得到特征FD₃，将特征FD₃输入到特征提取模块的第四特征提取层的第一残差块中，输出得到特征FR₁，将特征FR₁输入到特征提取模块的上采样层中，输出得到特征FRS₁，将特征FRS₁与特征FH₁融合后输入到特征提取模块的第三特征提取层的第二残差块中，输出得到特征FH₂，将特征FH₁和特征FH₂分别输入到特征提取模块的上采样层中，分别输出得到特征FHS₁和特征FHS₂，将特征FHS₁与特征FT₁融合后输入到特征提取模块的第二特征提取层的第二残差块中，输出得到特征FT₂，将特征FHS₂与特征FT₂融合后输入到特征提取模块的第二特征提取层的第三残差块中，输出得到特征FT₃，将特征FT₁、特征FT₂和特征FT₃分别输入到特征提取模块的上采样层中，分别输出得到特征FTS₁、特征FTS₂、特征FTS₃，将特征FTS₁与特征FO₁融合后输入到特征提取模块的第一特征提取层的第二残差块中，输出得到特征FO₂，将特征FTS₂与特征FO₂融合后输入到特征提取模块的第一特征提取层的第三残差块中，输出得到特征FO₃，将特征FTS₃与特征FO₃融合后输入到特征提取模块的第一特征提取层的第四残差块中，输出得到特征FO₄；

f-3)所述特征增强模块由通道过滤单元和位置特征学习单元构成，通道过滤单元由最大池化层、平均池化层、多层感知机MLP及Sigmoid层构成，将特征FO₄分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FOM₄和特征FOA₄，将特征FOM₄和特征FOA₄分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FOM₄′和特征FOA₄′，将特征FOM₄′和特征FOA₄′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FO₄′；位置特征学习单元依次由全连接层、softmax函数层、反向传播算法构成，将特征FO₄依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₁，将分类预测结果CLA₁利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₁，将梯度矩阵JT₁与特征FO₄进行点乘操作，得到特征FO₄″，将特征FO₄′与特征FO₄″进行点乘操作，得到特征FO₄″′；f-4)将特征特征FT₃分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FTM₃和特征FTA₃，将特征FTM₃和特征FTA₃分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FTM₃′和特征FTA₃′，将特征FTM₃′和特征FTA₃′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FT₃′，将特征FT₃依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₂，将分类预测结果CLA₂利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₂，将梯度矩阵JT₂与特征FT₃进行点乘操作，得到特征FT₃″，将特征FT₃′与特征FT₃″进行点乘操作，得到特征FT₃″′；

f-5)将特征特征FH₂分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FHM₂和特征FHA₂，将特征FHM₂和特征FHA₂分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FHM₂′和特征FHA₂′，将特征FHM₂′和特征FHA₂′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FH₂′，将特征FH₂依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₃，将分类预测结果CLA₃利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₃，将梯度矩阵JT₃与特征FH₂进行点乘操作，得到特征FH₂″，将特征FH₂′与特征FH₂″进行点乘操作，得到特征FH₂″′；

f-6)将特征特征FR₁分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FRM₁和特征FRA₁，将特征FRM₁和特征FRA₁分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FRM₁′和特征FRA₁′，将特征FRM₁′和特征FRA₁′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FR₁′，将特征FR₁依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₄，将分类预测结果CLA₄利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₄，将梯度矩阵JT₄与特征FR₁进行点乘操作，得到特征FR₁″，将特征FR₁′与特征FR₁″进行点乘操作，得到特征FR₁″′；

f-7)所述多尺度特征融合模块由上采样层构成，将特征FT₃″′、特征FH₂″′以及特征FR₁″′分别输入到上采样层中，分别输出得到特征

特征

特征

将特征FO₄″′、特征

特征

特征

进行特征融合后得到残差嵌套交互融合特征F′；

f-8)将残差嵌套交互融合特征F′依次输入残差嵌套交互识别网络的平均池化层、全连接层、softmax函数层后，输出得到每个patch块的识别结果CL。

进一步的，还包括在步骤g)后执行如下步骤：

h-1)将N个高分辨率目标图像P_H中每个图像通过重叠滑动窗口的方式切分为M个大小为256×256的patch块，将图像P_Patch按照4:1的比例划分为训练集和测试集；

h-2)利用交叉熵损失函数使用Adam优化器对残差嵌套交互识别网络进行训练，使用训练集作为验证集，训练阶段进行300轮迭代，训练阶段Batch size设置为32，使用StepLR学习率调整策略，每隔20轮进行一次学习率更新操作，每隔2轮使用验证集进行一次验证，将最优的验证结果作为基准保存网络模型权重。优选的，步骤f-2)中第一残差块、第二残差块、第三残差块、第四残差块中的第一卷积层的卷积核大小为3×3，第一残差块、第二残差块、第三残差块、第四残差块中的第二卷积层的卷积核大小为3×3，下采样层中的二维卷积层的卷积核大小为3×3，步长为2，上采样层中的填充层的步长为2×2，上采样层中的卷积层的卷积核大小为3×3，步长为1；步骤f-7)中上采样层依次由步长为2×2的填充层、卷积核大小为3×3切步长为1的卷积层、relu激活函数层构成。本发明的有益效果是：使用目标检测方法完成疑似目标区域的初步定位，过滤掉大部分无用信息，得到高分辨率的疑似目标区域图像，将大小不同的高分辨率图像切分为若干个patch块，构建残差嵌套交互识别网络，学习高分辨率patch块中的目标细节特征，完成单个patch块的识别，以及对可能存在误差的patch块进行再次识别，进而得到更加准确的识别结果，进一步保证小目标检测的精确度。

附图说明

图1为本发明的方法流程图。

图2为本发明的残差嵌套交互识别网络的结构示意图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

一种基于深度学习的高分辨率图像中小目标的智能识别方法，包括如下步骤：

a)获取N个原始高分辨率图像，对每个原始高分辨率图像进行预处理，得到图像大小为H×W的预处理后的高分辨率图像P，其中H为图像的高，W为图像的宽。例如，进行医学图像检测中胃部内镜图像的识别检测时，其高分辨率图像是医生通过手持设备获取的，且设备间存在一定的差异，通过裁剪方式去除患者信息、时间信息、设备信息等数据后得到的图像并不完全相同，因此将图像大小统一为H×W。

b)将N个预处理后的高分辨率图像P输入到小目标检测网络中，输出得到N个疑似目标区域图像P_BT。

c)将N个疑似目标区域图像P_BT映射到预处理后的高分辨率图像P上进行剪裁得到N个高分辨率目标图像P_H，

P_i为第i个高分辨率目标图像，

R为实数空间，h_i为第i个高分辨率目标图像的高，w_i为第i个高分辨率目标图像的宽，C为维度，其中疑似目标区域图像P_BT的疑似目标区域表示为[t_x,t_y,t_w,t_h]，t_x为预测框的中心的横坐标，t_y为预测框的中心的纵坐标，t_w为预测框的宽度，t_h为预测框的高度，预处理后的高分辨率图像P的疑似目标区域表示为[t_x×n,t_y×n,t_w×n,t_h×n]，n为图像缩放比例，

d)在预处理后的高分辨率图像P上训练小目标检测网络，过滤无用区域及图像，完成疑似目标区域图像的初步筛选。

e)将N个高分辨率目标图像P_H中每个图像通过重叠滑动窗口的方式切分为M个patch块，得到图像P_Patch，

PA_ij为第i个高分辨率目标图像的第j个patch块。

f)构建残差嵌套交互识别网络，将图像P_Patch输入到残差嵌套交互识别网络中，输出得到每个Patch块的识别结果CL，

C_ij为第i个高分辨率目标图像的第j个patch块的识别结果，C_ij∈[0,1]。

g)对第i个高分辨率目标图像中的若干个patch块的识别结果进行聚合，得到第i个高分辨率目标图像的最终识别结果L_i，

其中符合

表示任意，符号

表示存在。具体为：在进行医学图像识别、高铁故障检测、遥感地图检测等任务时，一张完整图像的M个patch块中，只要有一个patch块存在问题，就需要对整张图像进行干预或者处理，因此需要对每张图像的M个patch块识别结果进行聚合，得到每张图像最终的识别结果。聚合判断方法为：如果第i个高分辨率目标图像的最终识别结果L_i为1时，则第i个高分辨率目标图像被识别为存在目标，如果第i个高分辨率目标图像的最终识别结果L_i为0，则第i个高分辨率目标图像被识别为不存在目标。

首先使用目标检测方法完成疑似目标区域的初步定位，过滤掉大部分无用信息，得到高分辨率的疑似目标区域图像，其次，将大小不同的高分辨率图像切分为若干个patch块，构建残差嵌套交互识别网络，学习高分辨率patch块中的目标细节特征，完成单个patch块的识别，以及对可能存在误差的patch块进行再次识别，进而得到更加准确的识别结果，进一步保证小目标检测的精确度。

实施例1：

步骤a)中预处理的方法为：

a-1)将原始高分辨率图像进行剪裁，去除原始高分辨率图像中的设备信息、时间信息。

a-2)将剪裁后的原始高分辨率图像的大小调整为H×W，得到预处理后的高分辨率图像P。

实施例2：

步骤b)包括如下步骤：

b-1)将原始高分辨率图像P由H×W缩放至h×w。

b-2)所述小目标检测网络为YOLOV3网络，将缩放后的原始高分辨率图像P输入到YOLOV3网络的Darknet-53层中，分别得到

的特征图、

的特征图、

的特征图。Darknet-53层是YOLOV3网络的主干网络，采用残差结构进行特征提取。

b-3)将

的特征图、

的特征图、

的特征图输入到YOLOV3网络的FPN层中，分别输出得到

的特征融合后的特征图、

的特征融合后的特征图、

的特征融合后的特征图。FPN层为特征融合层，将主干网络中获取的3个不同尺寸的特征图进行特征融合，以获得更强的特征表现力，从而达到更好的结果。

b-4)将

的特征融合后的特征图、

的特征融合后的特征图、

的特征融合后的特征图分别输入到YOLOV3网络的Yolo Head层中，Yolo Head是YoloV3的分类器与回归器，得到最终的检测结果，即输出得到疑似目标区域图像P_BT。

利用YOLOV3作为小目标检测网络，对预处理后图像进行缩放操作，输入小目标检测网络中完成目标区域的初步粗略定位，过滤掉大部分无用信息，经过小目标检测网络得到疑似目标区域图像P_BT。

实施例3：

步骤b-1)中

实施例4：

步骤d)包括如下步骤：

d-1)通过公式L＝λ₁L_conf+λ₂L_cl+λ₃L_loc计算得到损失函数L，式中λ₁、λ₂、λ₃均为平衡系数，L_conf为目标定位偏移量损失，L_cl为目标置信度损失，L_loc为目标分类损失。目标定位偏移量损失L_conf采用的是平方和距离误差损失，目标置信度损失L_cl采用的是交叉熵损失(Binary Cross Entropy)，目标分类损失L_loc采用的是交叉熵损失。

d-2)将预处理后的高分辨率图像P按照4:1的比例划分为训练集和测试集。d-3)利用损失函数L使用梯度下降法对YOLOV3网络进行训练，使用训练集作为验证集，训练阶段进行200轮迭代，每隔2轮使用验证集进行一次验证，将最优的验证结果作为基准保存网络模型权重。

实施例5：

步骤f)包括如下步骤：

f-1)建立依次由特征提取模块、特征增强模块、多尺度特征融合模块、平均池化层、全连接层及softmax函数层构成的残差嵌套交互识别网络。

f-2)所述特征提取模块由第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层、下采样层及上采样层构成，第一特征提取层由第一残差块、第二残差块、第三残差块、第四残差块构成，第二特征提取层由第一残差块、第二残差块、第三残差块构成，第三特征提取层由第一残差块、第二残差块构成，第四特征提取层由第一残差块构成，第一残差块、第二残差块、第三残差块、第四残差块均依次由第一卷积层、第一relu激活函数层、第二卷积层、第二relu激活函数层构成，下采样层依次由二维卷积层、BN归一化层、relu激活函数层构成，上采样层依次由填充层、卷积层及relu激活函数层构成，将图像P_Patch输入到特征提取模块的第一特征提取层的第一残差块中，输出得到特征FO₁，将特征FO₁输入到特征提取模块的下采样层中，输出得到特征FD₁，将特征FD₁输入到特征提取模块的第二特征提取层的第一残差块中，输出得到特征FT₁，将特征FT₁输入到特征提取模块的下采样层中，输出得到特征FD₂，将特征FD₂输入到特征提取模块的第三特征提取层的第一残差块中，输出得到特征FH₁，将特征FH₁输入到特征提取模块的下采样层中，输出得到特征FD₃，将特征FD₃输入到特征提取模块的第四特征提取层的第一残差块中，输出得到特征FR₁，将特征FR₁输入到特征提取模块的上采样层中，输出得到特征FRS₁，将特征FRS₁与特征FH₁融合后输入到特征提取模块的第三特征提取层的第二残差块中，输出得到特征FH₂，将特征FH₁和特征FH₂分别输入到特征提取模块的上采样层中，分别输出得到特征FHS₁和特征FHS₂，将特征FHS₁与特征FT₁融合后输入到特征提取模块的第二特征提取层的第二残差块中，输出得到特征FT₂，将特征FHS₂与特征FT₂融合后输入到特征提取模块的第二特征提取层的第三残差块中，输出得到特征FT₃，将特征FT₁、特征FT₂和特征FT₃分别输入到特征提取模块的上采样层中，分别输出得到特征FTS₁、特征FTS₂、特征FTS₃，将特征FTS₁与特征FO₁融合后输入到特征提取模块的第一特征提取层的第二残差块中，输出得到特征FO₂，将特征FTS₂与特征FO₂融合后输入到特征提取模块的第一特征提取层的第三残差块中，输出得到特征FO₃，将特征FTS₃与特征FO₃融合后输入到特征提取模块的第一特征提取层的第四残差块中，输出得到特征FO₄。

f-3)所述特征增强模块由通道过滤单元和位置特征学习单元构成，通道过滤单元由最大池化层、平均池化层、多层感知机MLP及Sigmoid层构成，将特征FO₄分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FOM₄和特征FOA₄，将特征FOM₄和特征FOA₄分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FOM₄′和特征FOA₄′，将特征FOM₄′和特征FOA₄′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FO₄′；位置特征学习单元依次由全连接层、softmax函数层、反向传播算法构成，将特征FO₄依次输入到位置特征学习单元的全连接层及softmax函数层中，全连接层进行分类预测，输出得到分类预测结果CLA₁，将分类预测结果CLA₁利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₁，将梯度矩阵JT₁与特征FO₄进行点乘操作，得到特征FO₄″，将特征FO₄′与特征FO₄″进行点乘操作，得到特征FO₄″′。

f-4)将特征特征FT₃分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FTM₃和特征FTA₃，将特征FTM₃和特征FTA₃分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FTM₃′和特征FTA₃′，将特征FTM₃′和特征FTA₃′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FT₃′，将特征FT₃依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₂，将分类预测结果CLA₂利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₂，将梯度矩阵JT₂与特征FT₃进行点乘操作，得到特征FT₃″，将特征FT₃′与特征FT₃″进行点乘操作，得到特征FT₃″′。

f-5)将特征特征FH₂分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FHM₂和特征FHA₂，将特征FHM₂和特征FHA₂分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FHM₂′和特征FHA₂′，将特征FHM₂′和特征FHA₂′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FH₂′，将特征FH₂依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₃，将分类预测结果CLA₃利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₃，将梯度矩阵JT₃与特征FH₂进行点乘操作，得到特征FH₂″，将特征FH₂′与特征FH₂″进行点乘操作，得到特征FH₂″′。

f-6)将特征特征FR₁分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FRM₁和特征FRA₁，将特征FRM₁和特征FRA₁分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FRM₁′和特征FRA₁′，将特征FRM₁′和特征FRA₁′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FR₁′，将特征FR₁依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₄，将分类预测结果CLA₄利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₄，将梯度矩阵JT₄与特征FR₁进行点乘操作，得到特征FR₁″，将特征FR₁′与特征FR₁″进行点乘操作，得到特征FR₁″′。

f-7)所述多尺度特征融合模块由上采样层构成，将特征FT₃″′、特征FH₂″′以及特征FR₁″′分别输入到上采样层中，分别输出得到特征

特征

特征

将特征FO₄″′、特征

特征

特征

进行特征融合后得到残差嵌套交互融合特征F′。

f-8)将残差嵌套交互融合特征F′依次输入残差嵌套交互识别网络的平均池化层、全连接层、softmax函数层后，输出得到每个patch块的识别结果CL。

实施例6：

还包括在步骤g)后执行如下步骤：

h-1)将N个高分辨率目标图像P_H中每个图像通过重叠滑动窗口的方式切分为M个大小为256×256的patch块，将图像P_Patch按照4:1的比例划分为训练集和测试集；

h-2)利用交叉熵损失函数使用Adam优化器对残差嵌套交互识别网络进行训练，使用训练集作为验证集，训练阶段进行300轮迭代，训练阶段Batch size设置为32，使用StepLR学习率调整策略，每隔20轮进行一次学习率更新操作，每隔2轮使用验证集进行一次验证，将最优的验证结果作为基准保存网络模型权重。

实施例7：

步骤f-2)中第一残差块、第二残差块、第三残差块、第四残差块中的第一卷积层的卷积核大小为3×3，第一残差块、第二残差块、第三残差块、第四残差块中的第二卷积层的卷积核大小为3×3，下采样层中的二维卷积层的卷积核大小为3×3，步长为2，上采样层中的填充层的步长为2×2，上采样层中的卷积层的卷积核大小为3×3，步长为1；步骤f-7)中上采样层依次由步长为2×2的填充层、卷积核大小为3×3切步长为1的卷积层、relu激活函数层构成。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于，包括如下步骤：

a)获取N个原始高分辨率图像，对每个原始高分辨率图像进行预处理，得到图像大小为H×W的预处理后的高分辨率图像P，其中H为图像的高，W为图像的宽；

b)将N个预处理后的高分辨率图像P输入到小目标检测网络中，输出得到N个疑似目标区域图像P_BT；

c)将N个疑似目标区域图像P_BT映射到预处理后的高分辨率图像P上进行剪裁得到N个高分辨率目标图像P_H，

P_i为第i个高分辨率目标图像，

R为实数空间，h_i为第i个高分辨率目标图像的高，w_i为第i个高分辨率目标图像的宽，C为维度，其中疑似目标区域图像P_BT的疑似目标区域表示为[t_x,t_y,t_w,t_h]，t_x为预测框的中心的横坐标，t_y为预测框的中心的纵坐标，t_w为预测框的宽度，t_h为预测框的高度，预处理后的高分辨率图像P的疑似目标区域表示为[t_x×n,t_y×n,t_w×n,t_h×n]，n为图像缩放比例，

d)在预处理后的高分辨率图像P上训练小目标检测网络；

e)将N个高分辨率目标图像P_H中每个图像通过重叠滑动窗口的方式切分为M个patch块，得到图像P_Patch，

PA_ij为第i个高分辨率目标图像的第j个patch块；

f)构建残差嵌套交互识别网络，将图像P_Patch输入到残差嵌套交互识别网络中，输出得到每个Patch块的识别结果CL，

C_ij为第i个高分辨率目标图像的第j个patch块的识别结果，C_ij∈[0,1]；

g)对第i个高分辨率目标图像中的若干个patch块的识别结果进行聚合，得到第i个高分辨率目标图像的最终识别结果L_i，

其中符合

表示任意，符号

表示存在，如果第i个高分辨率目标图像的最终识别结果L_i为1时，则第i个高分辨率目标图像被识别为存在目标，如果第i个高分辨率目标图像的最终识别结果L_i为0，则第i个高分辨率目标图像被识别为不存在目标。

2.根据权利要求1所述的基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于，步骤a)中预处理的方法为：

a-1)将原始高分辨率图像进行剪裁，去除原始高分辨率图像中的设备信息、时间信息；

a-2)将剪裁后的原始高分辨率图像的大小调整为H×W，得到预处理后的高分辨率图像P。

3.根据权利要求1所述的基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于，步骤b)包括如下步骤：

b-1)将原始高分辨率图像P由H×W缩放至h×w；

b-2)所述小目标检测网络为YOLOV3网络，将缩放后的原始高分辨率图像P输入到YOLOV3网络的Darknet-53层中，分别得到

的特征图、

的特征图、

的特征图；

b-3)将

的特征图、

的特征图、

的特征图输入到YOLOV3网络的FPN层中，分别输出得到

的特征融合后的特征图、

的特征融合后的特征图、

的特征融合后的特征图；

b-4)将

的特征融合后的特征图、

的特征融合后的特征图、

的特征融合后的特征图分别输入到YOLOV3网络的Yolo Head层中，输出得到疑似目标区域图像P_BT。

4.根据权利要求3所述的基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于：步骤b-1)中

5.根据权利要求3所述的基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于，步骤d)包括如下步骤：

d-1)通过公式L＝λ₁L_conf+λ₂L_cl+λ₃L_loc计算得到损失函数L，式中λ₁、λ₂、λ₃均为平衡系数，L_conf为目标定位偏移量损失，L_cl为目标置信度损失，L_loc为目标分类损失；

d-2)将预处理后的高分辨率图像P按照4:1的比例划分为训练集和测试集；

d-3)利用损失函数L使用梯度下降法对YOLOV3网络进行训练，使用训练集作为验证集，训练阶段进行200轮迭代，每隔2轮使用验证集进行一次验证，将最优的验证结果作为基准保存网络模型权重。

6.根据权利要求1所述的基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于，步骤f)包括如下步骤：

f-1)建立依次由特征提取模块、特征增强模块、多尺度特征融合模块、平均池化层、全连接层及softmax函数层构成的残差嵌套交互识别网络；

f-2)所述特征提取模块由第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层、下采样层及上采样层构成，第一特征提取层由第一残差块、第二残差块、第三残差块、第四残差块构成，第二特征提取层由第一残差块、第二残差块、第三残差块构成，第三特征提取层由第一残差块、第二残差块构成，第四特征提取层由第一残差块构成，第一残差块、第二残差块、第三残差块、第四残差块均依次由第一卷积层、第一relu激活函数层、第二卷积层、第二relu激活函数层构成，下采样层依次由二维卷积层、BN归一化层、relu激活函数层构成，上采样层依次由填充层、卷积层及relu激活函数层构成，将图像P_Patch输入到特征提取模块的第一特征提取层的第一残差块中，输出得到特征FO₁，将特征FO₁输入到特征提取模块的下采样层中，输出得到特征FD₁，将特征FD₁输入到特征提取模块的第二特征提取层的第一残差块中，输出得到特征FT₁，将特征FT₁输入到特征提取模块的下采样层中，输出得到特征FD₂，将特征FD₂输入到特征提取模块的第三特征提取层的第一残差块中，输出得到特征FH₁，将特征FH₁输入到特征提取模块的下采样层中，输出得到特征FD₃，将特征FD₃输入到特征提取模块的第四特征提取层的第一残差块中，输出得到特征FR₁，将特征FR₁输入到特征提取模块的上采样层中，输出得到特征FRS₁，将特征FRS₁与特征FH₁融合后输入到特征提取模块的第三特征提取层的第二残差块中，输出得到特征FH₂，将特征FH₁和特征FH₂分别输入到特征提取模块的上采样层中，分别输出得到特征FHS₁和特征FHS₂，将特征FHS₁与特征FT₁融合后输入到特征提取模块的第二特征提取层的第二残差块中，输出得到特征FT₂，将特征FHS₂与特征FT₂融合后输入到特征提取模块的第二特征提取层的第三残差块中，输出得到特征FT₃，将特征FT₁、特征FT₂和特征FT₃分别输入到特征提取模块的上采样层中，分别输出得到特征FTS₁、特征FTS₂、特征FTS₃，将特征FTS₁与特征FO₁融合后输入到特征提取模块的第一特征提取层的第二残差块中，输出得到特征FO₂，将特征FTS₂与特征FO₂融合后输入到特征提取模块的第一特征提取层的第三残差块中，输出得到特征FO₃，将特征FTS₃与特征FO₃融合后输入到特征提取模块的第一特征提取层的第四残差块中，输出得到特征FO₄；

f-3)所述特征增强模块由通道过滤单元和位置特征学习单元构成，通道过滤单元由最大池化层、平均池化层、多层感知机MLP及Sigmoid层构成，将特征FO₄分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FOM₄和特征FOA₄，将特征FOM₄和特征FOA₄分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FOM₄′和特征FOA₄′，将特征FOM₄′和特征FOA₄′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FO₄′；位置特征学习单元依次由全连接层、softmax函数层、反向传播算法构成，将特征FO₄依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₁，将分类预测结果CLA₁利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₁，将梯度矩阵JT₁与特征FO₄进行点乘操作，得到特征FO₄″，将特征FO₄′与特征FO₄″进行点乘操作，得到特征FO₄″′；

f-4)将特征特征FT₃分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FTM₃和特征FTA₃，将特征FTM₃和特征FTA₃分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FTM₃′和特征FTA₃′，将特征FTM₃′和特征FTA₃′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FT₃′，将特征FT₃依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₂，将分类预测结果CLA₂利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₂，将梯度矩阵JT₂与特征FT₃进行点乘操作，得到特征FT₃″，将特征FT₃′与特征FT₃″进行点乘操作，得到特征FT₃″′；

f-5)将特征特征FH₂分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FHM₂和特征FHA₂，将特征FHM₂和特征FHA₂分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FHM₂′和特征FHA₂′，将特征FHM₂′和特征FHA₂′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FH₂′，将特征FH₂依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₃，将分类预测结果CLA₃利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₃，将梯度矩阵JT₃与特征FH₂进行点乘操作，得到特征FH₂″，将特征FH₂′与特征FH₂″进行点乘操作，得到特征FH₂″′；

f-6)将特征特征FR₁分别输入到特征增强模块的通道过滤单元的最大池化层和平均池化层中，分别输出得到特征FRM₁和特征FRA₁，将特征FRM₁和特征FRA₁分别输入到特征增强模块的通道过滤单元的多层感知机MLP中，分别输出得到特征FRM₁′和特征FRA₁′，将特征FRM₁′和特征FRA₁′相加后输入到特征增强模块的Sigmoid层中，输出得到特征FR₁′，将特征FR₁依次输入到位置特征学习单元的全连接层及softmax函数层中，输出得到分类预测结果CLA₄，将分类预测结果CLA₄利用位置特征学习单元的反向传播算法计算得到梯度矩阵JT₄，将梯度矩阵JT₄与特征FR₁进行点乘操作，得到特征FR₁″，将特征FR₁′与特征FR₁″进行点乘操作，得到特征FR₁″′；

f-7)所述多尺度特征融合模块由上采样层构成，将特征FT₃″′、特征FH₂″′以及特征FR₁″′分别输入到上采样层中，分别输出得到特征

特征

特征

将特征FO₄″′、特征

特征

特征

进行特征融合后得到残差嵌套交互融合特征F′；

f-8)将残差嵌套交互融合特征F′依次输入残差嵌套交互识别网络的平均池化层、全连接层、softmax函数层后，输出得到每个patch块的识别结果CL。

7.根据权利要求1所述的基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于，还包括在步骤g)后执行如下步骤：

h-1)将N个高分辨率目标图像P_H中每个图像通过重叠滑动窗口的方式切分为M个大小为256×256的patch块，将图像P_Patch按照4:1的比例划分为训练集和测试集；

h-2)利用交叉熵损失函数使用Adam优化器对残差嵌套交互识别网络进行训练，使用训练集作为验证集，训练阶段进行300轮迭代，训练阶段Batch size设置为32，使用StepLR学习率调整策略，每隔20轮进行一次学习率更新操作，每隔2轮使用验证集进行一次验证，将最优的验证结果作为基准保存网络模型权重。

8.根据权利要求6所述的基于深度学习的高分辨率图像中小目标的智能识别方法，其特征在于：步骤f-2)中第一残差块、第二残差块、第三残差块、第四残差块中的第一卷积层的卷积核大小为3×3，第一残差块、第二残差块、第三残差块、第四残差块中的第二卷积层的卷积核大小为3×3，下采样层中的二维卷积层的卷积核大小为3×3，步长为2，上采样层中的填充层的步长为2×2，上采样层中的卷积层的卷积核大小为3×3，步长为1；步骤f-7)中上采样层依次由步长为2×2的填充层、卷积核大小为3×3切步长为1的卷积层、relu激活函数层构成。

Images