CN109919108B - 基于深度哈希辅助网络的遥感图像快速目标检测方法 - Google Patents
基于深度哈希辅助网络的遥感图像快速目标检测方法 Download PDFInfo
- Publication number
- CN109919108B CN109919108B CN201910182161.XA CN201910182161A CN109919108B CN 109919108 B CN109919108 B CN 109919108B CN 201910182161 A CN201910182161 A CN 201910182161A CN 109919108 B CN109919108 B CN 109919108B
- Authority
- CN
- China
- Prior art keywords
- network
- hash
- auxiliary
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度哈希辅助网络的遥感图像快速目标检测方法，解决了现有目标检测框架对于宽幅遥感图像中存在的占大部分面积的无目标存在的背景区域不能做高效检测的问题。实现步骤为：生成实验训练图像块集合和测试图像块集合；构建基于深度哈希辅助网络的遥感图像快速目标检测模型；训练基于深度哈希辅助网络的遥感图像快速目标检测模型；用训练好的深度哈希辅助网络得到测试图像块集合的测试结果并统计运行时间。本发明引入了哈希辅助分支网络模块，通过快速过滤宽幅遥感图像中大部分无目标的背景区域，大幅减少了目标检测中的冗余计算，使无目标背景区域检测时间大大降低，大幅提高了检测效率。用于宽幅遥感图像的目标检测。
Description
技术领域
本发明属于计算机视觉技术领域，更进一步涉及遥感图像目标的检测，具体是一种基于深度哈希辅助网络的遥感图像快速目标检测方法。用于高分辨率遥感图像的目标检测。
背景技术
随着传感器技术的进步，研究人员现在可方便地获取具有高空间分辨率或光谱分辨率的图像，针对高分辨图像的快速目标检测技术正在成为图像领域的热点研究领域，其在军事与民用都可进行广泛应用。
深度学习已经在图像目标检测领域取得了很大成功。Girshick等人在其发表的论文“Rich feature hierarchies for accurate object detection and semanticsegmentation”(IEEE conference on computer vision and patternrecognition.2014)中提出了两阶段目标检测框架，包括目标候选区域提取和特征学习，以及其分类和坐标回归两个阶段。该框架摒弃了以往传统手工构造特征加划窗这类计算复杂，特征提取不足的方法，大幅提高了目标检测的速度和精度。后续大量深度学习目标检测模型都在这一框架下构建改进模型。然而，该模型仍以传统算法进行候选区域提取，并且需对每个候选区域单独计算处理，训练分阶段进行，面向高分辨的宽幅图像，无法达到高效的检测。
Girshick等人在其发表的论文“Faster R-CNN:towards real-time objectdetection with region proposal networks”(International Conference on NeuralInformation Processing Systems.2015)将两阶段目标检测框架进行改造，统一通过神经网络实现候选区域提取与目标区域的分类和回归，并对所有候选区域统一计算处理，实现了端到端的训练及预测，大大提高了目标检测的速度与精度，并简化了检测流程。该模型及其衍生模型被广泛应用于各类目标检测场景中。赵丹新等人在发表的论文“基于ResNet的遥感图像飞机目标检测新方法”(电子设计工程，2018)中提出一种基于残差网络(ResNet)的飞机目标检测方法，该方法加入残差网络的全卷积网络结构中不同层的上下文信息，最后通过拟合回归进行端到端的训练，可得到较高精度正确率的结果，同时证明了深度残差网络在遥感图像目标检测中的有效性。欧攀等人在发表的论文“基于卷积神经网络的遥感图像目标检测研究”(激光与光电子学进展，2018)提出将Faster RCNN网络与空间变换网络相结合，提出一种具有旋转不变性自学习能力的目标检测模型，可使学得的网络所提取的特征具有一定旋转不变性。
综上所述，尽管深度学习目标检测方法的检测性能正在不断提高，但在处理宽幅遥感图像数据时，仍然存在检测速度较慢的问题。宽幅遥感图像一般指的是超过10000×10000尺寸的遥感图像，图像中目标分布较稀疏，即大部分区域并不包含目标，若对大部分非目标背景区域不加判别地统一处理，势必造成计算资源的浪费，降低检测效率。因此，如何构建快速的目标检测方法，是宽幅遥感图像目标检测中仍需解决的问题。
发明内容
本发明针对现有技术的不足，提出一种能够快速过滤宽幅遥感图像中无目标背景区域的基于深度哈希辅助网络的遥感图像快速目标检测方法。
本发明是一种基于深度哈希辅助网络的遥感图像快速目标检测方法，其特征在于，包括以下步骤：
(1)划分训练图像块集合和测试图像块集合：对N张超大尺寸宽幅遥感图像数据集{I1,I2,....,In}按一定比例划分为训练图像集合和测试图像集合，待识别目标或为飞机或为船只；
对数据集中所有超大尺寸宽幅遥感图像进行滑窗切块，将每幅图像切割为长宽适中适合模型训练的小图像块，相邻图像块间重叠100或200像素，分别得到训练图像块集合
和测试图像块集合
分别对应于训练图像集合和测试图像集合；若原始遥感图像中的目标在切块后被切割，则只保留覆盖率大于70％的部分重新生成相应边框标注，剩余部分当作背景区域处理；将图像块集合中不包含目标的样本sj自动标注为负样本lj＝0，包含目标的样本sj自动标注为正样本lj＝1；
(2)构建基于深度哈希辅助网络的遥感图像快速目标检测模型：使用在大规模图像分类数据集ImageNet上训练好的预训练模型深度残差网络(ResNet101)的低层结构作为深度哈希辅助网络的基础网络提取图像特征，图像块样本sj为深度哈希辅助网络的输入；
在基础网络提取特征之后，得到基础网络特征图；在基础网络特征图输出端依次搭建候选区域生成网络、感兴趣区域池化模块以及高层特征提取网络模块，在高层特征提取网络模块后分别设置分类损失函数和回归损失函数，分类损失函数设置为多分类交叉熵损失，回归损失函数设置为Smooth L1损失，而后从高层特征提取网络模块输出分类和回归结果；基础网络特征图输出端同时还搭建有哈希辅助分支网络作为分支子网络,在分支子网络后设置分类损失函数，该分类损失函数为二类交叉熵损失，从分支子网络输出代表图像块样本sj的二进制串；构建的深度哈希辅助网络作为目标检测模型，深度哈希辅助网络构建完成后，深度哈希辅助网络参数为其整个网络的值；
(3)训练基于深度哈希辅助网络的遥感图像快速目标检测模型：计算超大尺寸宽幅遥感图像数据集中所有图像每个通道的像素均值，对训练图像块集合中所有图像块进行减均值操作，随机打乱训练图像块集合中所有样本的排列顺序，将训练图像块集合输入到深度哈希辅助网络目标检测模型中，对深度哈希辅助网络进行多损失函数的联合端到端训练，深度哈希辅助网络参数开始迭代更新，每经过m次迭代，将学习率降低为原来的十分之一，迭代n次之后训练结束，深度哈希辅助网络收敛，得到训练好的深度哈希辅助网络；
(4)用训练好的深度哈希辅助网络得到测试图像块集合的测试结果并统计运行时间：对训练图像块集合Strain和测试图像块集合Stest中所有图像块进行减均值操作，分别输入至训练好的深度哈希辅助网络目标检测模型中进行测试，根据哈希辅助分支网络结果决定是否进行区域候选生成网络及之后的计算；以此得到最终的待检测目标分类结果Pcls与待检测目标坐标预测结果Ploc，并统计单个测试图像块输出结果所需时间tj；
对原属于同一张原始遥感图像Ii所有测试图像块sj的检测结果进行合并，对合并时有结果重叠的相邻检测框进行软性非极大值抑制，得到该张原始遥感图像Ii的最终检测结果Ptest；将预测结果与原始遥感图像的真实标注Gtest进行对比，统计目标检测结果的平均精度均值。
本发明使用哈希辅助网络预测输入图像的局部信息中是否包含目标，进而动态调整目标检测策略，从而使检测过程更加快速高效。
本发明与现有技术相比具有以下优点：
第一，由于本发明将哈希辅助分支网络模块及相应损失函数引入目标检测模型网络模型中，在测试过程中可先通过哈希辅助分支网络模块判断输入图像块是否包含待检测目标，对不包含目标的图像块不做后续处理，避免了现有技术中对不包含目标的输入图像块做大量冗余无效的后续计算，耗费不必要检测时间的问题，使得本发明可以对整张图像中占大部分无目标存在的背景区域做快速过滤，大幅提高了检测效率。
第二，由于本发明使用预训练的101层深度残差网络模型中的低层结构提取图像特征，将该特征提取网络共享于哈希辅助分支网络损失函数和目标检测所用分类及坐标回归损失函数，实现大部分参数共享，克服了现有技术中不同任务间单独提取特征计算使得模型参数冗余、计算耗时复杂的问题，使得本发明可以共享网络参数及特征语义信息，降低整体网络的参数量、简化计算、降低耗时，同时增加不同任务间的相关性，增强特征语义信息。
第三，由于本发明在网络训练过程中对所构建深度哈希辅助网络中的多损失函数进行联合训练，将哈希辅助分支网络与候选区域生成网络的损失函数分别以0.4和0.6的比重加权求和并在反向传播时同步更新对应网络参数及共享参数层，克服了现有技术中需要对不同任务之间单独训练的问题，使得本发明可对整个网络模型做端到端的训练，不同任务之间可同时进行优化，从而提高了训练速度，节省了训练时间。
附图说明
图1是本发明的流程图；
图2是本发明网络模型的结构图；
图3是本发明所设计的哈希辅助网络同类图像检索结果图；
图4是本发明所仿真实验中设计模型的目标检测结果图。
具体实施方式
下面结合附图和实施例对发明做详细描述。
实施例1：
随着卫星传感器技术的快速发展，高空间分辨率的宽幅遥感图像的获取变得越来越方便，而针对高分辨率宽幅遥感图像的快速目标检测技术已成为遥感图像领域的热门研究方向，该技术在军事目标的快速识别定位以及民用中的农作物检测等多个应用场景都得到了广泛应用，并且人们在军事和民用领域中都对该技术有了越来越多的应用需求。
尽管遥感图像的目标检测技术在硬件以及检测性能上技术正在不断提高，但现有方法仍然针对的是与自然图像尺寸相近的小幅图像，在处理宽幅遥感图像数据时，需要对宽幅遥感图像的每个区域进行地毯式无差别检测，但宽幅遥感图像中目标分布较稀疏，即大部分区域并不包含目标，若不加判别地统一处理势必造成计算资源的浪费，降低检测效率。因此，如何构建快速的目标检测方法，是宽幅图像目标检测中需要解决的问题。
本发明针对宽幅遥感图像中大部分区域为无目标存在背景区域的问题引入哈希辅助分支网络模块及相应损失函数至目标检测网络模型中，形成的整体方案可快速滤去无目标背景区域图像块，大幅提高了检测效率。
本发明是一种基于深度哈希辅助网络的遥感图像快速目标检测方法，参见图1，包括以下步骤：
(1)划分训练图像块集合和测试图像块集合：对N张超大尺寸宽幅遥感图像数据集{I1,I2,....,In}按1：2的比例划分为训练图像集合和测试图像集合。超大尺寸宽幅遥感图像简称为原始遥感图像。待识别目标或为飞机或为船只，也可包含其他多类目标。本例中每张原始遥感图像大小约为15000×15000，图像中待识别目标数目总共为3652。
对数据集中所有原始遥感图像进行滑窗切块，将每幅图像切割为长宽都为600这样适合模型训练的小图像块，相邻图像块间重叠100或200像素，分别得到训练图像块集合
和测试图像块集合
分别对应训练图像集合和测试图像集合。若原始遥感图像中的目标在切块后被切割，则只保留覆盖率大于70％的部分重新生成相应边框标注，剩余部分当作背景区域处理。相邻图像块重叠大小可根据待检测目标进行调整。对于原始遥感图像切割为图像块时，相邻图像块之间的重叠区域大小的设置可根据待检测目标大小确定，若待检测目标尺寸较大，重叠区域可设置为200像素，若待检测目标尺寸较小，重叠区域可设置为100像素。
将图像块集合中不包含目标的样本sj自动标注为负样本lj＝0，包含目标的样本sj自动标注为正样本lj＝1，在超大尺寸宽幅遥感图像被切割为图像块后，其中大部分图像块不包含目标。
(2)构建基于深度哈希辅助网络的遥感图像快速目标检测模型：使用在大规模图像分类数据集ImageNet上训练好的预训练模型深度残差网络(ResNet101)的低层结构作为深度哈希辅助网络的基础网络提取特征得到基础网络特征图，图像块样本sj为深度哈希辅助网络的输入。
深度残差网络由第一个卷积单元和四个卷积块组成。其中第一个卷积单元和前三个卷积块定义为低层结构，第四个卷积块定义为高层特征提取网络模块。该网络具体结构如下：第一个卷积单元由个数为64，大小为7×7的卷积核和批归一化层、激活函数及最大池化层组成；四个卷积组块分别由若干残差单元叠加而成，残差单元的输入与输出通过求和函数相加得到单元输出，每个残差单元以特定卷积单元：卷积核→批归一化层→激活函数这样的结构叠加3次组成，对应的卷积核大小分别为1×1、3×3、1×1，最后一个特定卷积单元的卷积核数是前两个卷积单元的4倍，每个卷积组块之间特征图尺寸减半。深度残差网络中的激活函数均为修正线性单元激活函数。
在基础网络特征图的输出端搭建哈希辅助分支网络层作为分支子网络，在分支子网络后设置分类损失函数，从分支子网络输出代表图像块样本sj的二进制串；其单个样本定义为输入图像块sj，对应标注为步骤(1)中所产生标注lj。
搭建候选区域生成网络并设定其参数及区域分类和坐标回归损失函数，其样本定义为：输入图像块sj经过基础网络所提取特征图上每个点设置不同大小及长宽比的候选框
这些候选框映射回原图所对应的区域即为样本集
设图像块sj中目标区域集合为
计算候选框对应区域pi与目标区域gk的交并比IOUik：
若存在gk使得IOUik≥0.7则候选框区域pi标注lpi＝1，若存在gk使得IOUik≤0.3则候选框区域pi标注lpi＝0。将不同大小及长宽比的候选框通过感兴趣区域池化统一归一化至7×7大小得特征图featj，利用高层特征提取网络模块进一步提取归一化后的候选区域featj的高层语义特征并做具体类别判定及精确坐标回归。
将哈希辅助分支网络模块及候选区域生成网络的分类损失函数设置为二类交叉熵：
将候选区域生成网络及最后的高层特征提取网络模块的坐标回归损失函数设置为Smooth L1损失：
将该网络的优化算法选为基于自适应矩阵估计的优化算法Adam。
构建的深度哈希辅助网络作为目标检测模型，深度哈希辅助网络构建完成后，深度哈希辅助网络参数为其整个网络的值。深度哈希辅助网络初始化策略为：基础网络与高层特征提取网络模块使用预训练的深度残差网络对应层的值进行初始化，哈希辅助分支网络模块及候选区域生成网络的所有层使用均值为0，方差为0.0001的高斯随机矩阵进行初始化。
(3)训练基于深度哈希辅助网络的遥感图像快速目标检测模型：计算超大尺寸宽幅遥感图像数据集中所有图像每个通道的像素均值，对训练图像块集合中所有图像块进行减均值操作，随机打乱训练图像块集合中所有样本的排列顺序，将训练图像块集合输入到深度哈希辅助网络目标检测模型中，对深度哈希辅助网络进行多损失函数的联合端到端训练，深度哈希辅助网络参数开始迭代更新，每经过m次迭代，将学习率降低为原来的十分之一，迭代n次之后训练结束，深度哈希辅助网络收敛，得到训练好的深度哈希辅助网络。本例中m为5，n为12，在训练图像块数据集较大时，可将m和n的值设置为较大的值。
(4)用训练好的深度哈希辅助网络得到测试图像块集合的测试结果并统计运行时间：对训练图像块集合Strain和测试图像块集合Stest中所有图像块进行减均值操作，分别输入至训练好的深度哈希辅助网络目标检测模型中进行测试，根据哈希辅助分支网络结果决定是否进行区域候选生成网络及之后的计算；以此得到最终的待检测目标分类结果Pcls与待检测目标坐标预测结果Ploc，并统计单个测试图像块输出结果所需时间tj；
对原属于同一张原始遥感图像Ii所有测试图像块sj的检测结果进行合并，对合并时有结果重叠的相邻检测框进行软性非极大值抑制，得到该张原始遥感图像Ii的最终检测结果Ptest；将预测结果与原始遥感图像的真实标注Gtest进行对比，统计目标检测结果的平均精度均值。
本发明将哈希辅助分支网络模块及相应损失函数引入目标检测模型网络模型中，在测试过程中可先通过哈希辅助分支网络模块判断输入图像块是否包含待检测目标，对不包含目标的图像块不做后续处理，避免了现有技术中对不包含目标的输入图像块做大量冗余无效的后续计算，耗费不必要检测时间的问题，使得本发明可以对整张图像中占大部分无目标存在的背景区域做快速过滤，大幅提高了检测效率。
实施例2
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1，
步骤(2)中所述的深度哈希辅助网络构建包括有如下步骤：
(2a)使用在大规模图像分类数据集ImageNet上训练好的预训练模型深度残差网络(ResNet101)的低层结构作为深度哈希辅助网络的基础网络提取特征得到基础网络特征图，图像块样本sj为深度哈希辅助网络的输入。
(2b)深度残差网络由第一个卷积单元和四个卷积块组成。其中第一个卷积单元和前三个卷积块定义为低层结构，第四个卷积块定义为高层特征提取网络模块。该网络具体结构如下：第一个卷积单元由个数为64，大小为7×7的卷积核和批归一化层、激活函数及最大池化层组成。四个卷积组块分别由若干残差单元叠加而成，残差单元的输入与输出通过求和函数相加得到单元输出，每个残差单元以特定卷积单元：卷积核→批归一化层→激活函数这样的结构叠加3次组成，对应的卷积核大小分别为1×1、3×3、1×1，最后一个特定卷积单元的卷积核数是前两个卷积单元的4倍，每个卷积组块之间特征图尺寸减半。该网络中的激活函数均为修正线性单元激活函数。
(2c)在基础网络特征图的输出端搭建哈希辅助分支网络层作为分支子网络，在分支子网络后设置分类损失函数，从分支子网络输出代表图像块样本sj的二进制串。其单个样本定义为输入图像块sj，对应标注为步骤(1)中所产生标注lj。
(2d)搭建候选区域生成网络并设定其参数及区域分类和坐标回归损失函数，其样本定义为：输入图像块sj经过基础网络所提取特征图上每个点设置不同大小及长宽比的候选框
这些候选框映射回原图所对应的区域即为样本集
设图像块sj中目标区域集合为
计算候选框对应区域pi与目标区域gk的交并比IOUik：
若存在gk使得IOUik≥0.7则候选框区域pi标注lpi＝1，若存在gk使得IOUik≤0.3则候选框区域pi标注lpi＝0。将不同大小及长宽比的候选框通过感兴趣区域池化统一归一化至7×7大小得特征图featj，利用高层特征提取网络模块进一步提取归一化后的候选区域featj的高层语义特征并做具体类别判定及精确坐标回归。
(2e)将哈希辅助分支网络模块及候选区域生成网络的分类损失函数设置为二类交叉熵：
将候选区域生成网络及最后的高层特征提取网络模块的坐标回归损失函数设置为Smooth L1损失：
将该网络的优化算法选为基于自适应矩阵估计的优化算法Adam。
构建的深度哈希辅助网络作为目标检测模型，深度哈希辅助网络构建完成后，深度哈希辅助网络参数为其整个网络的值，其初始化策略为：基础网络与高层特征提取网络模块使用预训练的深度残差网络对应层的值进行初始化，哈希辅助分支网络模块及候选区域生成网络的所有层使用均值为0，方差为0.0001的高斯随机矩阵进行初始化。
实施例3
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-2，本发明步骤(2)中的哈希辅助分支网络的层结构依次是：输入层→复用卷积层→自适应池化层→全连接层→激活函数层→二分类器层→输出层。
参见图2，本发明中的哈希辅助分支网络搭建于基础网络特征图的输出端，其输入层为哈希辅助分支网络的输入，即步骤(2)所述基础网络特征图。复用卷积层在哈希辅助分支网络与候选区域生成网络中共享参数，即在不同任务中引入了特征复用机制，使得复用卷积层提取的特征同时包含区域与局部语义信息，因此特征信息更加完备。在复用卷积层后使用自适应池化层对特征降低维度，有利于减少参数量。自适应池化层之后使用全连接层将特征重组，由激活函数引入非线性映射并将特征的值归一化至[0,1]。二分类器层即为步骤(2)所述二类交叉熵损失，在训练过程中二分类器层指导哈希辅助分支网络进行训练，而不参与测试过程。输出层在训练过程中输出二分类结果，在测试过程中输出归一化后的全连接层所提取的特征值。
实施例4
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-3，本发明步骤(2)中的哈希辅助分支网络的参数设置如下：哈希辅助分支网络中的复用卷积层为512个卷积核，即基础网络特征图通道数的一半，这样起到了降低通道数的作用，每个卷积核的应设置为小尺寸卷积核，使其保留细节信息，一般为1×1或3×3。自适应池化层的池化方式为自适应平均池化，即无论池化层输入尺寸大小，池化后的尺寸结果为1，使得提取的特征中保留空间特征信息。全连接层的神经元数目设置适中，若神经元数设置太少，会使得全连接层表征能力不足，若神经元数设置太高，会产生过拟合现象，这都会降低哈希辅助分支网络的测试准确性，本例中神经元数设置为64。激活函数选择Sigmoid激活函数，将输出数值归一化至范围[0,1]，方便测试过程中全连接层特征取整。
实施例5
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-4，
步骤(3)中的多损失函数联合端到端训练方法具体如下：计算原始遥感图像数据集中所有图像每个通道的像素均值，对训练图像块集合中所有图像块进行减均值操作，随机打乱训练图像块集合中所有样本的排列顺序，将训练图像块集合输入到深度哈希辅助网络目标检测模型中进行训练。训练过程中固定基础网络中第二个卷积组块之前参数的权重，使其不进行参数更新，这样有利于保留在大规模图像分类数据集上提取的低层纹理特征。训练过程中由反向传播作用，首先根据高层特征提取网络模块的分类和回归损失函数计算结果更新该网络模块的参数，并在计算梯度时考虑区域候选网络的变化影响。将哈希辅助分支网络与候选区域生成网络的损失函数分别以一定的比重加权求和使其同时更新，本例中两个损失函数的比重各占0.5。
对于哈希辅助分支网络中的复用卷积层与基础网络中参与更新的网络结构，由于这些子网络结构于哈希辅助网络与区域候选网络，其参数更新同时受两部分损失函数的影响。
实施例6
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-5，
步骤(4)中的预测过程中哈希辅助分支网络结果产生方式具体如下：输入一个图像块，由哈希辅助分支网络参数设置得哈希网络激活函数输出特征层featbj，该输出特征层为数值范围0至1的浮点数，根据以下公式将其取整变为二进制串Bj：
其中，Hi表示输出特征层的第i位，预测过程中首先将训练图像块集合输入至深度哈希辅助网络，通过哈希辅助分支网络得到所有训练图像块对应的二进制串保存为二进制串库；再将测试图像块输入至深度哈希辅助网络，通过哈希辅助分支网络得到测试图像块对应的测试二进制串，将测试二进制串与训练二进制串库中的所有二进制串计算汉明距离并将结果排序，汉明距离计算公式如下：
其中L为二进制串长度，i表示第i位，a与b分别表示测试二进制串与训练二进制串；将汉明距离最近的训练二进制串所对应的训练图像块的标注信息Lj作为该测试图像块si是否包含目标的预测结果，若Lj＝0，则不进行后续步骤，若Lj＝1，则进行后续检测步骤。
下面给出一个更加具体详尽的例子，对本发明进一步说明：下面结合附图对发明做进一步描述。
实施例7
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-6，
参照附图1，对本发明的具体步骤做进一步的描述。
步骤1，生成实验训练样本集和测试样本集。
将15张超大尺寸宽幅遥感图像数据集{I1,I2,....,I15}做简单划分，从中随机选取5张用于制作训练集，剩余10张制作测试集，其中待识别目标种类分别为飞机和船只。所有图像中待识别目标数目总共为3652，其中训练集为1668个待识别目标，飞机数目为450，船只数目为1218，测试集为1984个待识别目标，飞机数目为931，船只数目为1053。
对数据集中所有超大尺寸宽幅遥感图像进行滑窗切块，将每幅图像切割为长宽适中适合模型训练的小图像块，相邻图像块间重叠100像素，分别得到训练图像块集合
和测试图像块集合
分别对应于训练图像集合和测试图像集合；若原始遥感图像中的目标在切块后被切割，则只保留覆盖率大于70％的部分重新生成相应边框标注，剩余部分当作背景区域处理；将图像块集合中不包含目标的样本sj自动标注为负样本lj＝0，包含目标的样本sj自动标注为正样本lj＝1。
步骤2，构建基于深度哈希辅助网络的快速目标检测模型。
2.1，使用在大规模图像分类数据集ImageNet上训练好的预训练模型深度残差网络(ResNet101)的低层结构作为深度哈希辅助网络的基础网络提取图像特征，图像块样本sj为深度哈希辅助网络的输入；
深度残差网络由第一个卷积单元和四个卷积块组成。其中第一个卷积单元和前三个卷积块定义为低层结构，第四个卷积块定义为高层特征提取网络模块。该网络具体结构如下：第一个卷积单元由个数为64，大小为7×7的卷积核和批归一化层、激活函数及最大池化层组成；四个卷积组块分别由若干残差单元叠加而成，残差单元的输入与输出通过求和函数相加得到单元输出，每个残差单元以特定卷积单元：卷积核→批归一化层→激活函数这样的结构叠加3次组成，对应的卷积核大小分别为1×1、3×3、1×1，最后一个特定卷积单元的卷积核数是前两个卷积单元的4倍，每个卷积组块之间特征图尺寸减半。深度残差网络中的激活函数均为修正线性单元激活函数。
2.2，搭建哈希辅助分支网络层。
哈希辅助分支网络的层结构依次为：输入特征层→复用卷积层→自适应池化层→全连接层→激活函数层→二分类器层→输出层。
哈希辅助分支网络结构层参数设定如下：复用卷积层为512个卷积核，每个卷积核的尺寸为3×3；自适应池化层的池化方式为自适应平均池化，无论池化层输入尺寸大小，池化后的尺寸结果为512×1；全连接层的神经元设置为48；激活函数选择Sigmoid激活函数，将输出数值归一化至范围[0,1]。
哈希辅助分支网络所用样本定义如下：输入样本为，步骤1所得切割后的图像块sj，对应标注为其步骤1产生标注lj。
2.3，搭建候选区域生成网络。
候选区域生成网络层结构为：输入特征层→复用卷积层→激活层→[卷积类别输出层,卷积坐标输出层]。
所述候选区域生成网络层参数设定如下：复用卷积层与哈希辅助网络中的复用卷积层为同一卷积层，结构与参数设置相同，对该卷积层参数共享；激活层为修正线性单元激活函数；卷积类别输出层为18个卷积核，卷积核大小为1×1，卷积坐标输出层为36个卷积核，卷积核大小为1×1。
候选区域生成网络的样本定义如下：输入图像块sj经过基础网络所提取特征图上每个点设置3种不同大小及3种不同长宽比，即每个点提取9个候选框，所有候选框构成集合
这些候选框映射回原图所对应的区域即为候选区域生成网络的样本集
设图像块sj中目标区域集合为
计算候选框对应区域pi与目标区域gk的交并比IOUik：
若存在gk使得IOUik≥0.7则候选框区域pi标注lpi＝1，若存在gk使得IOUik≤0.3则候选框区域pi标注lpi＝0。训练过程中每次从区域样本集P中随机选取256个样本进行训练，使得正负样本比例为1：3。训练时对每个样本pi进行二分类及回归，由于特征图中每个点对应9个候选框，因此输出维度为2×9，对应卷积类别输出层的18个卷积核，同理回归输出维度为4×9，对应卷积坐标输出层为36个卷积核。
2.4，将不同大小及长宽比的候选框通过感兴趣区域池化统一归一化至7×7大小得特征图featj。
具体操作为：根据输入图像块sj经过基础网络得到特征图featb，设其尺寸为w×h，通道数为c,对该特征图进行步长为[w/7,h/7]的最大池化，其中[]表示取整操作，设输出区域样本数为n，则输出featj为四维向量，维度为(n,7,7,c)。
2.5，利用深度残差网络(ResNet101)的高层结构作为模型的高层特征提取网络模块，进一步提取归一化后的候选区域featj的高层语义特征并做具体类别判定及精确坐标回归，采用全连接层作为分类和回归的输出单元。分类结果的输出维度为(n,3)，回归结果的输出维度为(n,3×4)，其中n代表输入候选区域的个数，输出维度中数字3代表所使用数据集类别数目，分别代表飞机、船只、背景3类，数字4代表预测候选区域的左上角坐标(x,y)及场和宽(w,h)。
2.6，设置深度哈希辅助分支网络及候选区域生成网络的分类损失函数设置为二类交叉熵：
将候选区域生成网络及最后的高层特征提取网络模块的坐标回归损失函数设置为Smooth L1损失：
将该网络的优化算法选为基于自适应矩阵估计的优化算法Adam。
步骤3，训练基于深度哈希辅助网络的遥感图像快速目标检测模型。
3.1，计算超大尺寸宽幅遥感图像数据集{I1,I2,....,I15}中所有图像每个通道的像素均值，对训练集Strain中所有图像进行减均值操作，对训练图像块集合中所有图像块进行减均值操作，随机打乱训练图像块集合中所有样本的排列顺序，将训练图像块集合输入到深度哈希辅助网络目标检测模型中。
3.2，对基于深度哈希辅助网络的遥感图像快速目标检测模型进行多损失函数的联合端到端训练，深度哈希辅助网络参数开始迭代更新，迭代次数为12次，每经过5次学习率降低为原来的十分之一；迭代完成后深度哈希辅助网络收敛，得到训练好的目标检测网络模型。
步骤4，用训练好的深度哈希辅助网络得到测试图像块集合的测试结果并统计运行时间。
4.1，对训练集Strain所有图像进行减均值操作，而后输入到训练好的快速目标检测模型中；对于每张图像块sj，使其经哈希辅助网络前向传播得到最后一层特征feathj，对该特征进行数值取整使其成为二进制串featj，将训练集中图像提取到的所有二进制串
保存为二进制串库。
4.2，对测试集Strain所有图像进行减均值操作，而后输入到训练好的快速目标检测模型中；对于每张图像块sj，由哈希网络参数设置得哈希网络激活函数输出特征层featj为48位数值范围0至1的浮点数，根据以下公式将其取整变为48位二值串Bj：
其中，Hi表示特征层的第i位，预测过程中得到单张图像的二值串与训练集二进制串库所有串计算汉明距离并将结果排序，汉明距离计算公式如下：
其中L为二进制串长度48，i表示第i位，a与b分别表示预测图像块所对应二进制串与训练图像块对应二进制串；将汉明距离最近的二进制串所对应的训练集中图像的标注信息Lj作为该测试图像si是否包含目标的预测结果Pj，若Pj＝0，则不进行后续步骤，若Pj＝1，则进行后续检测步骤。
4.3，对于所有Pj＝1的图像块sj的检测结果进行软性非极大值抑制得到单张图像块sj的最终结果P'j，P'j包括目标分类结果Pcls与坐标预测结果Ploc。统计单张图像块预测所需时间tj。其中软性非极大值抑制步骤如下：
对于每一类目标，设B＝{b1,b2,...bn}为输入的n个坐标框,S＝{s1,s2,...,sn}为每个框对应的置信度，Nt为设置的阈值，D为输出框的集合，初始设D＝{}。对于每张图像块sj：
4.3.1在B非空时，在B中选取置信度最高的索引为m的框m←argmaxS；
4.3.2将Bm加入集合D，从B中减去Bm；
4.3.3遍历其余的框集合B，根据Bm与Bi的交并比IOUmi重新计算该框Bi的置信度si，其计算公式为：
4.3.4返回4.3.1。
4.4，对原属于同一张大图Ii所有图像块sj的检测结果进行合并，将其在图像块sj中的预测坐标Ploc转换至大图中的坐标P'loc，对合并时有结果重叠的相邻检测框进行软性非极大值抑制；对所有测试图像块进行相同操作得到10张测试大图的最终检测结果Ptest。
4.5，将预测结果与测试大图的真实标注Gtest进行对比，统计平均精度均值。
通过以上步骤，本发明将哈希辅助分支网络模块及相应损失函数引入目标检测模型网络模型中，在测试过程中可先通过哈希辅助分支网络模块判断输入图像块是否包含待检测目标，对不包含目标的图像块不做后续处理，避免了现有技术中对不包含目标的输入图像块耗费不必要检测时间的问题，使得本发明可以对整张宽幅遥感图像中占大部分无目标存在的背景区域做快速过滤，大幅提高了检测效率。
下面通过仿真及其数据对本发明的技术效果再做说明：
实施例8
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-7，
仿真条件：
本仿真实验的硬件测试平台是：Intel(R)E5-2630 CPU 2GHz，GTX1080，软件平台为Ubuntu16.04LTS系统和PyTorch.0.4.0运行平台上。
仿真实验内容：
本例是通过本发明对待检测目标的检索来验证哈希辅助分支网络的有效性。
本发明所用数据集IPIU包含15张来自于遥感卫星拍摄的宽幅遥感图像，图像尺寸介于10000至20000之间，包含两类目标：飞机和船只，人为完成目标类别及坐标标注。将宽幅遥感图像按照步骤1所述方式切割成图像块得训练集为2485张无目标图像块和1693张有目标图像块，得测试集为2919张无目标图像块和1978张有目标图像块。
为了充分验证本发明的有效性与公平性，实验同时在公开数据集USAS-AOD上进行了仿真验证。该数据集由Google Earth软件在全球部分区域中截取好的图像块构成，图像尺寸介于600至1200之间，与原始遥感图像切割后的图像块集合对应。该数据集包含910张无目标背景图像及1510张有目标图像，符合实验条件，其中待检测目标种类为两类：飞机和汽车，实验中将该数据集中的70％和30％分别作为训练集和测试集，得到1694张训练图像和726张测试图像。
仿真实验结果分析：
图3是本发明所设计的哈希辅助分支网络在IPIU数据集上的同类图像检索结果图，其中图3(a)与图3(c)是本发明在网络测试过程中的输入图像，图3(a)代表IPIU数据集中存在待检测目标飞机的测试样例，图3(b)是图3(a)输入至本发明的深度哈希辅助网络后由哈希辅助分支网络输出的特征取整后，与训练图像块集合匹配排序后内容最相似的16张图像，也就是采用本发明中哈希辅助分支网络检索到的结果，该结果显示检索到的相似图像包含待检测目标飞机的各类情景，包括不同的方向角度，不同的目标尺度以及不同的飞机数目等多种情况，但检索出的16张图像均是图3(a)所示的同类图像。该结果表明本发明中的哈希辅助分支网络能够快速准确且较为鲁棒的检索出与输入图像相似的不同情境下存在同类目标的图像，由此判断出输入图像是否存在目标。
图3(c)代表IPIU数据集中存在待检测目标船只的测试样例，图3(d)是图3(c)输入至本发明的深度哈希辅助网络后由哈希辅助分支网络输出的特征取整后，与训练图像块集合匹配排序后内容最相似的16张图像，也就是采用本发明中哈希辅助分支网络检索到的结果，该结果显示检索到的相似图像包含待检测目标船只的各类情景，包括不同的方向角度，不同的船只类型和数目以及不同的周围背景等多种情况，但检索出的16张图像均是图3(a)所示的同类图像。该结果表明虽然该结果知识检测过程的中间结果，但已经能够说明检索的准确率较高，并且检索速度较快。
本发明中的哈希辅助分支网络能够快速准确且较为鲁棒的检索出与输入图像相似的不同情境下存在同类目标的图像，由此判断出输入图像是否存在目标。
实施例9
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-7，仿真条件同实施例8，
本例是通过本发明对待检测目标的检测来验证深度哈希辅助网络的快速准确。
仿真实验结果分析：
图4表示本发明的深度哈希辅助网络目标检测模型在不同输入场景下的检测结果，具体表示为：
图4(a)表示输入图像中存在单个待检测目标飞机时的检测结果，结果显示该模型成功的检测到了该目标。
图4(b)表示输入图像中存在多个待检测目标飞机时的检测结果，结果显示该模型完整的检测到了所有目标。
图4(c)表示输入图像中存在单个待检测目标船只时的检测结果，结果显示该模型成功的检测到了该目标。
图4(d)表示输入图像中存在多个待检测目标船只时的检测结果，结果显示该模型完整的检测到了所有目标。
由图4的实验结果可以看出，本发明所设计的深度哈希辅助网络目标检测网络模型可对各类情境下的待检测目标进行准确检测，效果较为鲁棒。
实施例10
基于深度哈希辅助网络的遥感图像快速目标检测方法同实施例1-7，仿真条件和仿真实验内容同实例8，
仿真实验内容：
为了证明本发明的效果，现对本发明深度辅助哈希网络各部分的有效性进行定量分析，并将本发明的方法与现有方法进行对比，从而得出结论。在仿真实验中，采用以下两个指标来评价本发明方法的性能：
第一个评价指标是平均精度(AP)，表示每类目标在不同召回率下的准确率求平均，平均精度均值(mAP)表示各类平均精度(AP)的均值，取值范围为[0,1]，值越大说明效果越好。
第二个评价指标是单个图像块检测所需时间，值越小，表示越好。
仿真实验结果分析：
首先对哈希辅助分支网络的检索准确性进行统计计算：分别提取训练图像块数据集合与测试图像块集合中每个图像块对应的二进制串与对应是否存在目标的标注信息，而后进行排序匹配，将平均精度均值(mAP)作为评价指标，各数据集结果如表1所示：
表1哈希辅助分支网络在IPIU数据集上的平均精度均值
| 实验所用数据集 | 平均精度均值 |
| IPIU | 0.993 |
| USAS-AOD | 0.996 |
该结果说明本实验设计的哈希辅助分支网络可以非常准确的判断输入图像是否包含目标，基本不会出现由于哈希辅助分支网络的误判而造成的漏检问题。
以IPIU数据集为例，定义正样本(pos)为存在目标的输入图像块，负样本(neg)为不存在目标的输入图像块。分别使用分别为VGG16和ResNet101预训练模型基础网络提取图像特征，并统计深度辅助哈希网络模型的平均精度均值与在正样本和负样本上的平均检测速度，单位为秒每图(s/I)，实验结果如表2所示。
表2不同基础网络下整体网络模型的精度与速度对比分析
| 基础网络 | mAP | s/I(pos) | s/I(neg) |
| VGG16 | 0.7661 | 0.054 | 0.021 |
| ResNet101 | 0.8060 | 0.085 | 0.032 |
从表2可以看出，使用不同的预训练模型作为基础网络提取特征将对应不同的检测时间，但对于负样本的检测，由于本发明所设计的哈希辅助网络可快速过滤无目标存在的背景图像块的作用，对于不同的基础网络在不同程度上节省检测时间。这说明本发明所设计的深度哈希辅助分支网络并不依赖于某一特定基础网络，具有灵活性与普适性，并充分验证了本发明的深度哈希辅助分支网络结构的有效性。
对本发明与现有目标检测模型在各数据集上进行对比仿真实验，评价指标为平均精度均值与平均检测速度，实验结果如表3和表4所示。
表3本发明与现有目标检测模型在数据集IPIU上的实验结果对比分析
| 检测模型 | 基础网络 | mAP | s/I(pos) | s/I(neg) |
| FRCNN | VGG16 | 0.7656 | 0.054 | 0.054 |
| FRCNN | ResNet101 | 0.8061 | 0.084 | 0.084 |
| RFCN | ResNet101 | 0.8165 | 0.053 | 0.053 |
| DetNet | DetNet59 | 0.7972 | 0.076 | 0.076 |
| SSD512 | ResNet101 | 0.7960 | 0.034 | 0.034 |
| 本发明 | ResNet101 | 0.8214 | 0.085 | 0.032 |
表4本发明与现有目标检测模型在数据集USAS-AOD上的实验结果对比分析
| 检测模型 | 基础网络 | mAP | s/I(pos) | s/I(neg) |
| FRCNN | VGG16 | 0.8995 | 0.099 | 0.099 |
| FRCNN | ResNet101 | 0.9066 | 0.085 | 0.085 |
| RFCN | ResNet101 | 0.9122 | 0.074 | 0.074 |
| DetNet | DetNet59 | 0.9234 | 0.107 | 0.107 |
| SSD512 | ResNet101 | 0.9040 | 0.036 | 0.036 |
| 本发明 | ResNet101 | 0.9257 | 0.099 | 0.048 |
一个好的目标检测模型需要同时兼顾速度和精度两方面。实验结果由表3及表4所示，经分析得：本发明所设计的目标检测模型对比同类的双阶段目标检测模型(对比实验中除SSD以外的所有目标检测模型)在负样本的检测速度上具有较大提升，而对于单阶段目标检测模型SSD来说，由于单阶段目标检测模型本身的结构优势及SSD模型在图像预处理过程中的将图像尺寸调整至512×512，使得SSD模型的输入尺寸小于其他双阶段模型中的输入尺寸，因此SSD模型的检测速度在USAS-AOD数据集上略微优于本发明所设计的深度哈希辅助网络模型。同时由于深度哈希辅助网络模型中哈希辅助分支网络模块中的特征复用机制，该模块所提取的特征具有更强的语义表示能力，因此精度相比其他对比模型精度略有提高。
由以上的仿真实验可以说明，本发明设计的基于深度哈希辅助网络的遥感图像快速目标检测方法，其主要贡献为在输入图像块无目标存在的背景区域时能够对该图像块进行快速过滤，节省检测时间与计算资源。由于宽幅遥感图像中大部分区域为无目标存在的背景区域，因此本发明所设计的方法对于宽幅图像的快速目标检测尤其适用，同时说明了该方法的适用性与有效性。
简而言之，本发明的基于深度哈希辅助网络的遥感图像快速目标检测方法。针对宽幅遥感图像中存在大部分无目标的背景区域的问题，将深度哈希辅助分支网络引入至目标检测框架中作为辅助网络达到快速过滤出宽幅遥感图像中不包含目标的区域的作用。其主要实现步骤为：(1)生成实验训练图像块集合和测试图像块集合；(2)构建基于深度哈希辅助网络的遥感图像快速目标检测模型；(3)训练基于深度哈希辅助网络的遥感图像快速目标检测模型；(4)用训练好的深度哈希辅助网络得到测试图像块集合的测试结果并统计运行时间。本发明引入了哈希辅助分支网络模块，通过快速过滤宽幅遥感图像中大部分无目标存在的背景区域，大幅减少了宽幅遥感图像目标检测过程中的冗余计算，使得无目标背景区域的检测时间大大降低，大幅提高了检测效率。用于宽幅遥感图像的目标检测领域。
Claims (6)
1.一种基于深度哈希辅助网络的遥感图像快速目标检测方法，其特征在于，包括以下步骤：
(1)划分训练图像块集合和测试图像块集合：对N张超大尺寸宽幅遥感图像数据集{I1,I2,....,In}按一定比例划分为训练图像集合和测试图像集合，待识别目标或为飞机或为船只；对数据集中所有超大尺寸宽幅遥感图像进行滑窗切块，将每幅图像切割为长宽适中适合模型训练的小图像块，相邻图像块间重叠100或200像素，分别得到训练图像块集合
和测试图像块集合
分别对应于训练图像集合和测试图像集合；若原始遥感图像中的目标在切块后被切割，则只保留覆盖率大于70％的部分重新生成相应边框标注，剩余部分当作背景区域处理；将图像块集合中不包含目标的样本sj自动标注为负样本lj＝0，包含目标的样本sj自动标注为正样本lj＝1；
(2)构建基于深度哈希辅助网络的遥感图像快速目标检测模型：使用在大规模图像分类数据集ImageNet上训练好的预训练模型深度残差网络的低层结构作为深度哈希辅助网络的基础网络提取图像特征，图像块样本sj为深度哈希辅助网络的输入；在基础网络提取特征之后，得到基础网络特征图；在基础网络特征图输出端依次搭建候选区域生成网络、感兴趣区域池化模块以及高层特征提取网络模块，在高层特征提取网络模块后分别设置分类损失函数和回归损失函数，分类损失函数设置为多分类交叉熵损失，回归损失函数设置为Smooth L1损失，而后从高层特征提取网络模块输出分类和回归结果；基础网络特征图输出端同时还搭建有哈希辅助分支网络作为分支子网络,在分支子网络后设置分类损失函数，该分类损失函数为二类交叉熵损失，从分支子网络输出代表图像块样本sj的二进制串；构建的深度哈希辅助网络作为目标检测模型，深度哈希辅助网络构建完成后，深度哈希辅助网络参数为其整个网络的值；
(3)训练基于深度哈希辅助网络的遥感图像快速目标检测模型：计算超大尺寸宽幅遥感图像数据集中所有图像每个通道的像素均值，对训练图像块集合中所有图像块进行减均值操作，随机打乱训练图像块集合中所有样本的排列顺序，将训练图像块集合输入到深度哈希辅助网络目标检测模型中，对深度哈希辅助网络进行多损失函数的联合端到端训练，深度哈希辅助网络参数开始迭代更新，每经过m次迭代，将学习率降低为原来的十分之一，迭代n次之后训练结束，深度哈希辅助网络收敛，得到训练好的深度哈希辅助网络；
(4)用训练好的深度哈希辅助网络得到测试图像块集合的测试结果并统计运行时间：对训练图像块集合Strain和测试图像块集合Stest中所有图像块进行减均值操作，分别输入至训练好的深度哈希辅助网络目标检测模型中进行测试，根据哈希辅助分支网络结果决定是否进行区域候选生成网络及之后的计算；以此得到最终的待检测目标分类结果Pcls与待检测目标坐标预测结果Ploc，并统计单个测试图像块输出结果所需时间tj；对原属于同一张原始遥感图像Ii所有测试图像块sj的检测结果进行合并，对合并时有结果重叠的相邻检测框进行软性非极大值抑制，得到该张原始遥感图像Ii的最终检测结果Ptest；将预测结果与原始遥感图像的真实标注Gtest进行对比，统计目标检测结果的平均精度均值。
2.根据权利要求1所述的基于深度哈希辅助网络的遥感图像快速目标检测方法，其特征在于，步骤(2)中所述的深度哈希辅助网络构建包括有如下步骤：
(2a)使用在大规模图像分类数据集ImageNet上训练好的预训练模型深度残差网络的低层结构作为深度哈希辅助网络的基础网络提取图像特征得到基础网络特征图，图像块样本sj为深度哈希辅助网络的输入；
(2b)深度残差网络由一个卷积单元和四个卷积块组成，其中卷积单元和前三个卷积块定义为低层结构作为基础网络，第四个卷积块定义为高层特征提取网络模块；卷积单元与卷积块由卷积层和批归一化层、激活函数及最大池化层叠加组成，并使用残差机制将每个卷积块的输入和输出相加作为卷积块的最终输出，其中激活函数为修正线性激活函数；
(2c)在基础网络特征图的输出端搭建哈希辅助分支网络层作为分支子网络，在分支子网络后设置分类损失函数，从分支子网络输出代表图像块样本sj的二进制串；其单个样本定义为输入图像块sj，对应标注为步骤(1)中所产生标注lj；
(2d)搭建候选区域生成网络并设定其参数及区域分类损失函数和坐标回归损失函数，该网络输出不同大小及长宽比的候选框将不同大小及长宽比的候选框在特征图中对应区域通过感兴趣区域池化统一归一化至7×7大小得特征区域featj；
(2e)利用深度残差网络的高层结构作为模型的高层特征提取网络模块，进一步提取归一化后的特征区域featj的高层语义特征并做具体类别判定及精确坐标回归；
(2f)将深度哈希辅助分支网络及候选区域生成网络的分类损失函数设置为二类交叉熵：
将候选区域生成网络及最后的高层特征提取网络模块的坐标回归损失函数设置为Smooth L1损失：
将该网络的优化算法选为基于自适应矩阵估计的优化算法Adam。
3.根据权利要求1或2所述的基于深度哈希辅助网络的遥感图像快速目标检测方法，其特征在于，步骤(2)中所述的哈希辅助分支网络的层结构依次是：输入层→复用卷积层→自适应池化层→全连接层→激活函数层→二分类器层→输出层。
4.根据权利要求3中所述的基于深度哈希辅助网络的遥感图像快速目标检测方法，其特征在于，步骤(2)中所述的哈希辅助分支网络的参数设置如下：复用卷积层为512个卷积核，每个卷积核的尺寸为3×3；自适应池化层的池化方式为自适应平均池化，无论池化层输入尺寸大小，池化后的尺寸结果为512×1；全连接层的神经元设置为48；激活函数选择Sigmoid激活函数，将输出数值归一化至范围[0,1]。
5.根据权利要求1所述的基于深度哈希辅助网络的快速目标检测方法，其特征在于，步骤(3)中所述的对深度哈希辅助网络进行多损失函数的联合端到端训练，具体如下：在反向传播时，训练过程中固定基础网络中第二个卷积组块之前参数的权重，使其不进行参数更新；首先根据高层特征提取网络模块的分类和回归损失函数计算结果更新该网络模块的参数，并在计算梯度时考虑区域候选网络的变化影响；而后将哈希辅助分支网络与候选区域生成网络的损失函数分别以0.4和0.6的比重加权求和使其同时更新。
6.根据权利要求1所述的基于深度哈希辅助网络的遥感图像快速目标检测方法，其特征在于，步骤(4)中所述的哈希辅助分支网络结果，其产生方式具体如下：输入一个图像块，由哈希辅助分支网络参数设置得哈希网络激活函数输出特征层featbj为48位数值范围0至1的浮点数，根据以下公式将其取整变为48位二进制串Bj：
其中，Hi表示特征层的第i位，预测过程中首先将训练图像块集合输入至深度哈希辅助网络，通过哈希辅助分支网络得到所有训练图像块对应的二进制串保存为二进制串库，将训练二进制串集合保存至本地；再将测试图像块输入至深度哈希辅助网络，通过哈希辅助分支网络得到测试图像块对应的测试二进制串，将测试二进制串与训练二进制串库中的所有二进制串计算汉明距离并将结果排序，汉明距离计算公式如下：
·其中L为二进制串长度48，i表示第i位，a与b分别表示测试二进制串与训练二进制串；将汉明距离最近的训练二进制串所对应的训练图像块的标注信息Lj作为该测试图像块si是否包含目标的预测结果，若Lj＝0，则不进行后续步骤，若Lj＝1，则进行后续检测步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910182161.XA CN109919108B (zh) | 2019-03-11 | 2019-03-11 | 基于深度哈希辅助网络的遥感图像快速目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910182161.XA CN109919108B (zh) | 2019-03-11 | 2019-03-11 | 基于深度哈希辅助网络的遥感图像快速目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109919108A CN109919108A (zh) | 2019-06-21 |
| CN109919108B true CN109919108B (zh) | 2022-12-06 |
Family
ID=66964353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910182161.XA Active CN109919108B (zh) | 2019-03-11 | 2019-03-11 | 基于深度哈希辅助网络的遥感图像快速目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919108B (zh) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110765865B (zh) * | 2019-09-18 | 2022-06-28 | 北京理工大学 | 基于改进的yolo算法的水下目标检测方法 |
| CN110659601B (zh) * | 2019-09-19 | 2022-12-02 | 西安电子科技大学 | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 |
| CN110807372A (zh) * | 2019-10-15 | 2020-02-18 | 哈尔滨工程大学 | 一种基于深度特征重组的快速光学遥感目标识别方法 |
| CN110826697B (zh) * | 2019-10-31 | 2023-06-06 | 深圳市商汤科技有限公司 | 获取样本的方法及装置、电子设备和存储介质 |
| CN110826485B (zh) * | 2019-11-05 | 2023-04-18 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像的目标检测方法及系统 |
| CN111241905A (zh) * | 2019-11-21 | 2020-06-05 | 南京工程学院 | 基于改进ssd算法的输电线路鸟窝检测方法 |
| CN110909794B (zh) * | 2019-11-22 | 2022-09-13 | 乐鑫信息科技（上海）股份有限公司 | 一种适用于嵌入式设备的目标检测系统 |
| CN111008603B (zh) * | 2019-12-08 | 2023-04-18 | 中南大学 | 面向大尺度遥感图像的多类目标快速检测方法 |
| CN111091550A (zh) * | 2019-12-12 | 2020-05-01 | 创新奇智(北京)科技有限公司 | 多尺寸自适应的pcb锡膏区域检测系统及检测方法 |
| CN111027508B (zh) * | 2019-12-23 | 2022-09-06 | 电子科技大学 | 一种基于深层神经网络的遥感图像覆被变化检测方法 |
| CN111242026B (zh) * | 2020-01-13 | 2022-07-12 | 中国矿业大学 | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 |
| CN111539434B (zh) * | 2020-04-10 | 2022-09-20 | 南京理工大学 | 基于相似度的红外弱小目标检测方法 |
| CN111797676B (zh) * | 2020-04-30 | 2022-10-28 | 南京理工大学 | 一种高分辨率遥感图像目标在轨轻量化快速检测方法 |
| CN111783844B (zh) * | 2020-06-10 | 2024-05-28 | 广东正扬传感科技股份有限公司 | 基于深度学习的目标检测模型训练方法、设备及存储介质 |
| CN113781492A (zh) * | 2020-06-10 | 2021-12-10 | 阿里巴巴集团控股有限公司 | 目标元素含量测量方法、训练方法、相关装置及存储介质 |
| CN111797737A (zh) * | 2020-06-22 | 2020-10-20 | 重庆高新区飞马创新研究院 | 遥感目标检测方法及装置 |
| CN111814662B (zh) * | 2020-07-07 | 2022-06-24 | 北京航空航天大学 | 基于微型卷积神经网络的可见光图像飞机快速检测方法 |
| CN111881777B (zh) * | 2020-07-08 | 2023-06-30 | 泰康保险集团股份有限公司 | 一种视频处理方法和装置 |
| CN112132093B (zh) * | 2020-09-30 | 2024-01-05 | 湖南省气象科学研究所 | 高分辨率遥感图像目标检测方法、装置和计算机设备 |
| CN112199545B (zh) * | 2020-11-23 | 2021-09-07 | 湖南蚁坊软件股份有限公司 | 基于图片文字定位的关键词显示方法、装置及存储介质 |
| CN112528862B (zh) * | 2020-12-10 | 2023-02-10 | 西安电子科技大学 | 基于改进的交叉熵损失函数的遥感图像目标检测方法 |
| CN112613426A (zh) * | 2020-12-26 | 2021-04-06 | 北京国腾联信科技有限公司 | 一种资源区域确定方法、装置、设备和存储介质 |
| CN113011417B (zh) * | 2021-01-08 | 2023-02-10 | 湖南大学 | 基于交并比覆盖率损失与重定位策略的目标匹配方法 |
| CN112861720B (zh) * | 2021-02-08 | 2024-05-14 | 西北工业大学 | 基于原型卷积神经网络的遥感图像小样本目标检测方法 |
| CN112926681B (zh) * | 2021-03-29 | 2022-11-29 | 复旦大学 | 一种基于深度卷积神经网络的目标检测方法及装置 |
| CN113516053B (zh) * | 2021-05-28 | 2024-05-14 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
| CN113468363B (zh) * | 2021-07-01 | 2024-05-17 | 中国科学技术大学 | 遥感图像目标检测加速方法 |
| CN113947705B (zh) * | 2021-10-25 | 2022-08-12 | 四川大学 | 一种基于约束条件下的演化神经网络的目标检测方法 |
| CN114266975B (zh) * | 2021-12-23 | 2024-04-16 | 华南农业大学 | 无人机遥感图像的荔枝果实检测与计数方法 |
| CN114627373A (zh) * | 2022-02-25 | 2022-06-14 | 北京理工大学 | 一种面向遥感图像目标检测模型的对抗样本生成方法 |
| CN114611666B (zh) * | 2022-03-08 | 2024-05-31 | 安谋科技（中国）有限公司 | 一种nms函数的量化方法、电子设备及介质 |
| CN114782911B (zh) * | 2022-06-20 | 2022-09-16 | 小米汽车科技有限公司 | 图像处理的方法、装置、设备、介质、芯片及车辆 |
| CN116052096B (zh) * | 2023-03-31 | 2023-06-13 | 浙江华是科技股份有限公司 | 一种压缩数据船舶检测方法、系统及计算机存储介质 |
| CN117593514B (zh) * | 2023-12-08 | 2024-05-24 | 耕宇牧星(北京)空间科技有限公司 | 一种基于深层主成分分析辅助的图像目标检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092183A1 (zh) * | 2015-12-03 | 2017-06-08 | 中山大学 | 一种基于可变长深度哈希学习的图像检索方法 |
| CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
| WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
-
2019
- 2019-03-11 CN CN201910182161.XA patent/CN109919108B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092183A1 (zh) * | 2015-12-03 | 2017-06-08 | 中山大学 | 一种基于可变长深度哈希学习的图像检索方法 |
| CN106909924A (zh) * | 2017-02-18 | 2017-06-30 | 北京工业大学 | 一种基于深度显著性的遥感影像快速检索方法 |
| WO2018214195A1 (zh) * | 2017-05-25 | 2018-11-29 | 中国矿业大学 | 一种基于卷积神经网络的遥感图像桥梁检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109919108A (zh) | 2019-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919108B (zh) | 基于深度哈希辅助网络的遥感图像快速目标检测方法 | |
| CN111489358B (zh) | 一种基于深度学习的三维点云语义分割方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
| CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
| CN105701502B (zh) | 一种基于蒙特卡罗数据均衡的图像自动标注方法 | |
| CN111091105A (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
| CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN110598029A (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| CN113033520B (zh) | 一种基于深度学习的树木线虫病害木识别方法及系统 | |
| CN109063719B (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
| Liu et al. | Remote sensing image change detection based on information transmission and attention mechanism | |
| CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN109033978B (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
| CN110716792B (zh) | 一种目标检测器及其构建方法和应用 | |
| CN112364747B (zh) | 一种有限样本下的目标检测方法 | |
| CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
| Adiwinata et al. | Fish species recognition with faster r-cnn inception-v2 using qut fish dataset | |
| CN112232395A (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
| CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
| CN115393631A (zh) | 基于贝叶斯层图卷积神经网络的高光谱图像分类方法 | |
| CN111523586A (zh) | 一种基于噪声可知的全网络监督目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |