CN110647977A - 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法 - Google Patents

一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法 Download PDF

Info

Publication number
CN110647977A
CN110647977A CN201910792583.9A CN201910792583A CN110647977A CN 110647977 A CN110647977 A CN 110647977A CN 201910792583 A CN201910792583 A CN 201910792583A CN 110647977 A CN110647977 A CN 110647977A
Authority
CN
China
Prior art keywords
network
tiny
yolo
convolution
ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910792583.9A
Other languages
English (en)
Other versions
CN110647977B (zh
Inventor
张润鑫
董方
武文波
李湜文
杨翊东
李阳
刘冰洁
郭进一
常淞泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Space Research Mechanical and Electricity
Original Assignee
Beijing Institute of Space Research Mechanical and Electricity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Space Research Mechanical and Electricity filed Critical Beijing Institute of Space Research Mechanical and Electricity
Priority to CN201910792583.9A priority Critical patent/CN110647977B/zh
Publication of CN110647977A publication Critical patent/CN110647977A/zh
Application granted granted Critical
Publication of CN110647977B publication Critical patent/CN110647977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种用于星上对舰船目标检测的Tiny‑YOLO网络的优化方法，采用舰船图像的样本集合，对原始Tiny‑YOLO网络进行训练，得到网络内各卷积层内的卷积核的参数；根据原始Tiny‑YOLO网络以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny‑YOLO网络；通过减少卷积核，实现Tiny‑YOLO网络进行稀疏化，根据稀疏化后的Tiny‑YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的Tiny‑YOLO网络在星上的运算速度和检测准确率达到要求；将迁移学习后的Tiny‑YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny‑YOLO网络，实现星上利用改进Tiny‑YOLO网络提高运算速度的需求。

Description

一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法
技术领域
本发明涉及一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，属于卷积神经网络结构优化技术领域。
背景技术
当前的舰船目标检测的算法，大多基于合成孔径雷达(SAR)或红外图像来实现，如文献[1]，相比而言基于卫星光学遥感图像的检测算法研究起步比较晚。进行目标检测，传统方法是基于人工设计并提取目标特征，目前发展为采用更先进的基于深度学习的方法，如Faster RCNN。这一方法无需人为设计描述目标的特征，设计好用于检测的网络，通过大量样本完成对检测网络的训练，当目标处在复杂背景下也能获得良好的检测结果。
近些年来，卫星光学遥感技术得到了不断地发展，星上处理能力显著增长，为通过深度学习实现目标检测打好了基础。但同地面端相比，星上运算、存储资源有限，现有的检测网络，即使是结构比较简单的Tiny-YOLO网络，其运算量、参数数量相对于星上资源来说是十分庞大的，难以直接应用。星上资源紧张是制约深度学习方法在轨应用的最大问题。因此，将深度学习方法应用到卫星实时处理，必须研究网络在结构上的优化方法。
在深度学习网络优化方面，文献[2]研究了采用数据精度压缩和剪枝两种方法减小数据存储量和降低CNN复杂度方法实现实时目标分类的方法。这一方法为实现星上应用提供了思路，但是这一方处理的网络只能实现目标分类，无法实现目标检测。
发明内容
本发明解决的技术问题为：克服现有技术不足，提供一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，参数数量显著降低，运算速度更加快捷，具备用于在轨实时检测舰船目标的能力，有效降低了Tiny-YOLO网络内的参数数量、运算数量，使得网络符合星上实时处理的要求。
本发明解决的技术方案为：一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，步骤如下：
(1)采用舰船图像的训练样本集合，对原始Tiny-YOLO网络进行训练，得到网络各卷积层内卷积核的参数；
(2)根据原始Tiny-YOLO网络结构以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny-YOLO网络；
(3)通过减少卷积层内的卷积核，实现对用于舰船目标检测Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络；
(4)根据步骤(3)稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率均达到要求；
(5)将步骤(4)迁移学习后的Tiny-YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny-YOLO网络。
优选的，舰船图像的样本集合，由若干包含舰船目标的JPG图像组成；每张图像对应一个txt文档，文档内记录了图像中所有舰船的类别(优选分两类，航母类别定义为1、军舰类别定义为2)，以及包围图像内舰船目标的矩形边界框的左上角坐标和右下角坐标。
优选的，卷积核的参数，卷积核由若干3*3大小矩阵描述，包括矩阵的数量和矩阵内的元素。
优选的，步骤(3)通过减少卷积核，实现对用于舰船目标检测的Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络，优选方案步骤如下：
第一步：设input_channel为输入的特征图数量，size为卷积核内滤波器的尺寸，对用于舰船目标检测的Tiny-YOLO网络第i卷积层中的第j个卷积核kij,计算其所有权值绝对值和：
Figure BDA0002179955900000031
式中，Sj表示第j个核的权值绝对值和，j＝1，2，…Zi，Zi为用于舰船目标检测的Tiny-YOLO网络中第i卷积层的卷积核数量；i＝1，2，…Y，Y为用于舰船目标检测的Tiny-YOLO网络中卷积层的总数；
第二步：对第i卷积层所有计算出的权值绝对值和进行降序排列，获得第i层的向量S；遍历所有i，得到各卷积层对应的向量S；
第三步：在各卷积层对应的向量S中，对绝对值权重小于序列中值median(S)的卷积核，予以去除，通过去除这些卷积核减少该卷积层内卷积核参数的数量，使得用于舰船目标检测的Tiny-YOLO网络在结构上实现稀疏化，得到网络NETS。
优选的，步骤(4)，根据步骤(3)稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率达到要求，优选方案为：
第一步：对网络NETS进行微调，以设定的第N卷积层为分界，对网络NETS内设定的高层卷积层内卷积核参数冻结，即该卷积核参数在训练中保持不变，经过微调后的网络为网络NETt，网络NETt即为迁移学习后的网络；
第二步：采用目舰船样本对网络NETt进行训练，测试迁移学习后的网络对舰船目标的正确检测率；
第三步，改变N的值，重复第一步的操作，直至遍历N的所有设定取值，得到各N值对应的测试迁移学习后的网络对舰船目标的正确检测率；
第四步：选取正确检测率最高的迁移学习后网络作为最终的迁移学习后网络，该网络即为稀疏化后的用于舰船目标检测的Tiny-YOLO网络。
本发明一种用于星上对舰船目标检测的Tiny-YOLO网络的优化系统，包括：训练模块、确定模块、稀疏化模块、迁移学习模块、转变模块；
训练模块，采用舰船图像的训练样本集合，对原始Tiny-YOLO网络进行训练，得到网络各卷积层内卷积核的参数；
确定模块，根据原始Tiny-YOLO网络结构以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny-YOLO网络；
稀疏化模块，通过减少卷积层内的卷积核，实现对用于舰船目标检测Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络；
迁移学习模块，根据稀疏化模块稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率均达到要求；
转变模块，将迁移学习模块迁移学习后的Tiny-YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny-YOLO网络。
优选的，训练模块中，舰船图像的训练样本集合，由若干包含舰船目标的JPG图像组成。
优选的，卷积核由若干3*3大小矩阵描述，卷积核的参数，包括矩阵的数量和矩阵内的元素。
优选的，稀疏化模块，通过减少卷积核，实现对用于舰船目标检测的Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络，具体步骤如下：
设input_channel为输入的特征图数量，size为卷积核内滤波器的尺寸，对用于舰船目标检测的Tiny-YOLO网络第i卷积层中的第j个卷积核kij,计算其所有权值绝对值和：
Figure BDA0002179955900000051
式中，Sj表示第j个核的权值绝对值和，j＝1，2，…Zi，Zi为用于舰船目标检测的Tiny-YOLO网络中第i卷积层的卷积核数量；i＝1，2，…Y，Y为用于舰船目标检测的Tiny-YOLO网络中卷积层的总数；
对第i卷积层所有计算出的权值绝对值和进行降序排列，获得第i层的向量S；遍历所有i，得到各卷积层对应的向量S；
在各卷积层对应的向量S中，对绝对值权重小于序列中值median(S)的卷积核，予以去除，通过去除这些卷积核减少该卷积层内卷积核参数的数量，使得用于舰船目标检测的Tiny-YOLO网络在结构上实现稀疏化，得到网络NETS。
优选的，稀疏化模块中，根据稀疏化模块稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率达到要求，具体为：
获取Tiny-yolo网络的结构和参数，采用舰船样本对网络进行预训练，并进行去除冗余卷积核的操作，获得网络NETS；对网络NETS进行微调，以设定的第N层为分界，对网络NETS内设定的高层卷积层内卷积核参数冻结，该卷积核参数在训练中保持不变，经过微调后的网络为NETt；采用目舰船样本对NETt进行训练，测试迁移学习后的网络对舰船目标的正确检测率；改变N的值，重复第二步的操作，直至遍历N的所有设定取值，得到各N值对应的测试迁移学习后的网络对舰船目标的正确检测率；选取正确检测率最高的迁移学习后网络作为最终的迁移学习后网络，该网络即为稀疏化后的用于舰船目标检测的Tiny-YOLO网络。
本发明与现有技术相比的优点在于：
(1)本发明在确保网络对目标具备良好检测能力的同时，能实现网络结构稀疏化，减少网络内参数数量和运算量，有利于硬件运算速度的提升。符合星上实时运算的要求。
(2)本发明针对星上运算、存储资源紧张、对算法实时性要求高，解决了现有的深度学习算法参数多、计算量大的问题，结合卷积神经网络特点，通过网络结构设计优化，在确保准确率的同时，基于改进Tiny-YOLO网络实现星上舰船目标检测。
(3)本发明在结构层面上对Tiny-YOLO网络进行优化。结合卷积神经网络运算的特点，通过减少卷积核数量，降低网络内参数的数量、加快网络的运算速度；同时，有针对性地设计迁移学习方案，使得优化后的网络运算速度得到提升的同时，对目标仍旧具备良好的检测能力；最后，采用权重量化的方法，降低网络参数占用的存储空间。
(4)本发明将浮点数量化为整数、计算速度更快；本方法在优化网络结构的同时，还确保了网络结构的准确性。同Faster RCNN等检测网络相比，YOLO仅使用一个CNN网络就可以直接检测出图像的中目标的候选框和类别，其结构、训练方法相比Faster RCNN更为简单，参数数量更少，检测速度更快。Tiny-YOLO是YOLO网络的简化版本，只有9个卷积层，参数数量进一步显著降低，运算速度更加快捷，具备用于在轨实时检测的潜力。
附图说明
图1为本发明总体逻辑思路示意图。
图2为卷积运算的可视化过程示意图。
图3为采用本发明提出的结构优化方法后网络对舰船目标的检测结果示意图。
图4为本发明流程示意图。
图5为本发明优化后的检测结果和优化前的检测结果对比图，其中，(a)为原始Tiny-YOLO网络检测结果示意图，(b)为优化后的Tiny-YOLO网络检测结果示意图。
图6为本发明的样本图像，其中(a)为原始样本图像，(b)为与之分割后的样本图像。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细描述。
本发明一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，采用舰船图像的样本集合，对原始Tiny-YOLO网络进行训练，得到网络内各卷积层内的卷积核的参数；根据原始Tiny-YOLO网络以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny-YOLO网络；通过减少卷积核，实现对用于舰船目标检测的Tiny-YOLO网络进行稀疏化，根据稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率达到要求；将步骤(4)迁移学习后的Tiny-YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny-YOLO网络，实现星上利用改进Tiny-YOLO网络提高运算速度的需求。
本发明一种用于星上对舰船目标检测的Tiny-YOLO网络的优化系统，包括：训练模块、确定模块、稀疏化模块、迁移学习模块、转变模块；
训练模块，采用舰船图像的训练样本集合，对原始Tiny-YOLO网络进行训练，得到网络各卷积层内卷积核的参数；
确定模块，根据原始Tiny-YOLO网络结构以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny-YOLO网络；
稀疏化模块，通过减少卷积层内的卷积核，实现对用于舰船目标检测Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络；
迁移学习模块，根据稀疏化模块稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率均达到要求；
转变模块，将迁移学习模块迁移学习后的Tiny-YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny-YOLO网络。
优选的，训练模块中，舰船图像的训练样本集合，由若干包含舰船目标的JPG图像组成。
优选的，卷积核由若干3*3大小矩阵描述，卷积核的参数，包括矩阵的数量和矩阵内的元素。
优选的，稀疏化模块，通过减少卷积核，实现对用于舰船目标检测的Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络，具体步骤如下：
设input_channel为输入的特征图数量，size为卷积核内滤波器的尺寸，对用于舰船目标检测的Tiny-YOLO网络第i卷积层中的第j个卷积核kij,计算其所有权值绝对值和：
Figure BDA0002179955900000081
式中，Sj表示第j个核的权值绝对值和，j＝1，2，…Zi，Zi为用于舰船目标检测的Tiny-YOLO网络中第i卷积层的卷积核数量；i＝1，2，…Y，Y为用于舰船目标检测的Tiny-YOLO网络中卷积层的总数；
对第i卷积层所有计算出的权值绝对值和进行降序排列，获得第i层的向量S；遍历所有i，得到各卷积层对应的向量S；
在各卷积层对应的向量S中，对绝对值权重小于序列中值median(S)的卷积核，予以去除，通过去除这些卷积核减少该卷积层内卷积核参数的数量，使得用于舰船目标检测的Tiny-YOLO网络在结构上实现稀疏化，得到网络NETS。
优选的，稀疏化模块中，根据稀疏化模块稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率达到要求，具体为：
获取Tiny-yolo网络的结构和参数，采用舰船样本对网络进行预训练，并进行去除冗余卷积核的操作，获得网络NETS；对网络NETS进行微调，以设定的第N层为分界，对网络NETS内设定的高层卷积层内卷积核参数冻结，该卷积核参数在训练中保持不变，经过微调后的网络为NETt；采用目舰船样本对NETt进行训练，测试迁移学习后的网络对舰船目标的正确检测率；改变N的值，重复第二步的操作，直至遍历N的所有设定取值，得到各N值对应的测试迁移学习后的网络对舰船目标的正确检测率；选取正确检测率最高的迁移学习后网络作为最终的迁移学习后网络，该网络即为稀疏化后的用于舰船目标检测的Tiny-YOLO网络。
本发明针对星上参数存储、运算资源紧张的问题，提出了一种用于星上目标检测的Tiny-YOLO网络的优化方法。该方法能有效降低网络内参数的数量、参数的存储空间数量、以及计算量，并且能够确保网络的检测能力，使得网络符合星上实时目标检测的要求。
如图4所示，本发明的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，步骤如下：
(1)采用舰船图像的样本集合，对原始Tiny-YOLO网络进行训练，得到网络内各卷积层内的卷积核的参数，优选方案为：
首先构造舰船样本集合。样本集合由包含舰船目标的图像和与之对应的txt文档组成。txt文档内存储了舰船目标的类别，以及包围舰船目标的矩形框左上角和右下角的坐标。
表1原始Tiny-YOLO网络示意图
Figure BDA0002179955900000101
原始Tiny-YOLO网络结构如表1所示，包括：多个卷积层和多个池化层；卷积层，包括：Conv0～Conv8；池化层，包括：Maxpool0～Maxpool 5；
排列顺序依次为：Conv0、Maxpool0、Conv1、Maxpool1、Conv2、Maxpool2、Conv3、Maxpool4、Conv4、Maxpool4、Conv5、Maxpool5、Conv6、Conv7、Conv8；
每个卷积层和池化层均有多个输入特征图和输出特征图，每个卷积层均有卷积核；一个卷积核内包含多个滤波器，滤波器的数量等于输入特征图的数量，卷积核的数量等于输出特征图的数量；卷积层，通过卷积运算用来提取目标的特征；池化层用来进一步提取特征并降低特征图的维度，卷积层Conv0的输入特征图为输入图像，输出特征图为中间变量；上一卷积层或池化层的输出特征图为下一卷积层或者池化层的输入特征图；最后一个卷积层(Conv8)的输出特征图，包含输入图像中的目标的有或者无，目标位置和目标类别的信息。
(2)根据原始Tiny-YOLO网络以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny-YOLO网络，优选方案为：
保持原有网络的结构，既卷积层数量、各层卷积核数量不变，用训练出的卷积核替代原有的卷积核，完成舰船目标检测的Tiny-YOLO网络搭建。
(3)通过减少卷积核，实现对用于舰船目标检测的Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络，优选方案如下，卷积运算的可视化过程示意图如图2所示：
如表1所示，为Tiny-YOLO网络的各层输入和输出特征图尺寸以及卷积核尺寸，由表1可以看出，网络的参数主要集中在卷积核上，而且主要分布在高层的卷积层，因此卷积核修剪应主要集中在conv3-conv7中，对网络内的卷积核进行修剪，实现网络的稀疏化，优选的操作如下：
第一步：设input_channel为输入的特征图数量，size为卷积核内滤波器的尺寸，对用于舰船目标检测的Tiny-YOLO网络第i卷积层中的第j个卷积核kij,计算其所有权值绝对值和：
式中，Sj表示第j个核的权值绝对值和，j＝1，2，…Zi，Zi为用于舰船目标检测的Tiny-YOLO网络中第i卷积层的卷积核数量；i＝1，2，…Y，Y为用于舰船目标检测的Tiny-YOLO网络中卷积层的总数；
第二步：对第i卷积层所有计算出的权值绝对值和进行降序排列，获得第i层的向量S；遍历所有i，得到各卷积层对应的向量S；
第三步：在各卷积层对应的向量S中，对绝对值权重小于序列中值median(S)的卷积核，予以去除，通过去除这些卷积核减少该卷积层内卷积核参数的数量，使得用于舰船目标检测的Tiny-YOLO网络在结构上实现稀疏化，得到网络NETS。
(4)根据步骤(3)稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率达到要求，优选方案为：：
卷积核剪除后网络的准确率会受到一定影响，需要通过迁移学习再次训练来调整参数，直到最终收敛停止训练。
卷积神经网络不同层提取出的特征性质并不相同。如图2所示的卷积运算可视化过程，网络底层卷积层内的特征图包含了图像中物体细节和急剧变化的信息，而高层卷积层内的特征图更多表达了图像的语义信息和整体信息，输出的特征图近似为目标的整体轮廓。对于舰船等大型重要目标，其整体信息对于检测来说更为重要，表现整体特征的高层卷积核应该保留。因此，卷积核剪除后网络的迁移学习训练，优选方案如下
第一步：对网络NETS进行微调，以设定的第N卷积层为分界，对网络NETS内的高层卷积层(从N卷积层至最高卷积层)，即第N、N+1、...、8卷积层内卷积核参数冻结，在训练中保持不变。经过微调后的网络为NETt。网络NETt即为迁移学习后的网络；
第二步：采用目舰船样本对NETt进行训练，测试迁移学习后的网络对舰船目标的正确检测率。
第三步，改变N的取值(N分别取4、5、6、7)，重复第一步和第二步的操作，得到各N值对应的测试迁移学习后的网络对舰船目标的正确检测率；
第四步：选取正确检测率最高的迁移学习后网络作为最终的迁移学习后网络。该网络在实现快速检测的同时，还能确保检测结果的正确。
(5)将步骤(4)迁移学习后的Tiny-YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny-YOLO网络，优选方案为：
量化的目标是将卷积核参数由32位浮点数量化为8位整数，具体范围为[-255，255]。卷积核参数量化的流程示意图如图4所示。round是取整函数，Q是量化基准，卷积核内参数km,n的量化的计算过程如下，k′m,n为量化后的卷积核内参数：
km,n表示卷积核中滤波器矩阵(即描述滤波器的矩阵)内的元素，m为矩阵内第m行，n表示该矩阵内第n列，m的取值范围为1至该矩阵中行总数，n为取值范围为1至该矩阵中列总数。
量化的准确性取决于量化基准的选取，优选的具体标准如下：
当卷积核内滤波器的参数分布较为均匀，即max(k)<mean(k)+2std(k)时，Q的值等于max(k)，选取参数中绝对值最大值作为量化基准；k表示卷积核中的描述任意一个滤波器的二维矩阵；max(k)为二维矩阵中的最大值(即元素最大值)；mean(k)为二维矩阵的平均值，std(k)为二维矩阵的标准差；
当卷积核内滤波器的参数分布不均匀，即max(k)>mean(k)+2std(k)时，Q的值等于二维矩阵k中的次最大值(即元素次最大值)
将公式(2)得到的量化后的卷积核内参数k′m,n替换km,n，得到量化后的卷积核。
本发明实现星上舰船目标检测效果提高的进一步方案为，增加样本数量，通过对训练样本图像进行旋转、镜像变换的方法快速增加样本数量，对原始样本逆时针旋转90°、180°、270°，并进行镜像变换，以此增加目标域内训练样本数量。增加样本数量可以提高网络的检测效果。
原始图像中目标的边界框信息优选通过ENVI软件获得。几何变换后的边界框信息可以通过公式计算出。例如：原始图像中目标的边界框的最小横纵坐标为(xmin,ymin)最大横纵坐标为(xmax,ymax),图像尺寸为L，目标旋转90度后，最小横纵坐标为(ymin,-xmin+L)，最大横纵坐标为(ymax,-xmax+L)。
本发明实现星上舰船目标检测效果提高的进一步方案为，采用阈值分割图像作为训练样本，本发明对于舰船检测而言，目标的整体轮廓信息重要性高于目标内部信息。因此，在步骤(1)的训练样本的设计上，采用灰度阈值分割获得的目标图像作为训练样本图像。分割后的目标图像包含了大量的整体轮廓信息，以此帮助预训练网络实现对整体轮廓信息更高效的提取并进行检测。
对于海面舰船图像，其背景的灰度值相比于舰船目标来说通常是比较低的，分布较均匀，而且变化缓慢，本发明优选采用灰度阈值分割的方法较好地提取出舰船目标。图6的(a)、(b)为通过最大类间方差(Otsu)阈值分割方法对不同类型舰船进行阈值分割提取目标的示意图。
如图1所示，通过本发明网络结构的优化方法中，优选将原始网络中conv3-7的卷积核参数去除接近50％，Tiny-YOLO网络整体压缩约达到45％，卷积核参数数量由15855536减少到原先的一半，有效加快了卷积运算速度，降低了网络内的参数数量，使得网络能够达到星上实时处理的要求，采用本发明提出的结构优化方法后网络对舰船目标的检测结果示意图，如图3所示。
同时，由图5的(a)、(b)可以看出，通过本发明在迁移学习中，检测网络在运算速度得到显著提高的同时,对目标的类别依旧实现了正确检测。同时，优化后的网络同原有网络相比，检测出的目标范围，既目标的边界框大致相同，本发明设计的迁移学习方法显著提高了检测的效果。
本发明在确保网络对目标具备良好检测能力的同时，能实现网络结构稀疏化，减少网络内参数数量和运算量，有利于硬件运算速度的提升。符合星上实时运算的要求。针对星上运算、存储资源紧张、对算法实时性要求高，解决了现有的深度学习算法参数多、计算量大的问题，结合卷积神经网络特点，通过网络结构设计优化，在确保准确率的同时，基于改进Tiny-YOLO网络实现星上舰船目标检测。
本发明将浮点数量化为整数、计算速度更快；本方法在优化网络结构的同时，还确保了网络结构的准确性。同Faster RCNN等检测网络相比，YOLO仅使用一个CNN网络就可以直接检测出图像的中目标的候选框和类别，其结构、训练方法相比Faster RCNN更为简单，参数数量更少，检测速度更快。Tiny-YOLO是YOLO网络的简化版本，只有9个卷积层，参数数量进一步显著降低，运算速度更加快捷，具备用于在轨实时检测的潜力。
本发明在结构层面上对Tiny-YOLO网络进行优化。结合卷积神经网络运算的特点，通过减少卷积核数量，降低网络内参数的数量、加快网络的运算速度；同时，有针对性地设计迁移学习方案，使得优化后的网络运算速度得到提升的同时，对目标仍旧具备良好的检测能力；最后，采用权重量化的方法，降低网络参数占用的存储空间。

Claims (10)

1.一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于步骤如下：
(1)采用舰船图像的训练样本集合，对原始Tiny-YOLO网络进行训练，得到网络各卷积层内卷积核的参数；
(2)根据原始Tiny-YOLO网络结构以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny-YOLO网络；
(3)通过减少卷积层内的卷积核，实现对用于舰船目标检测Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络；
(4)根据步骤(3)稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率均达到要求；
(5)将步骤(4)迁移学习后的Tiny-YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny-YOLO网络。
2.根据权利要求1所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：舰船图像的样本集合，由若干包含舰船目标的JPG图像组成。
3.根据权利要求1所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：卷积核由若干3*3大小矩阵描述，卷积核的参数，包括矩阵的数量和矩阵内的元素。
4.根据权利要求1所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：步骤(3)通过减少卷积核，实现对用于舰船目标检测的Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络，具体步骤如下：
根据输入的特征图数量、卷积核内滤波器的尺寸，得到各卷积层对应的向量S，减少该卷积层内卷积核参数的数量，使得用于舰船目标检测的Tiny-YOLO网络在结构上实现稀疏化，得到网络NETS。
5.根据权利要求1所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：步骤(4)，根据步骤(3)稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率达到要求，具体为：
对网络NETS进行微调，采用目舰船样本对网络NETt进行训练，测试迁移学习后的网络对舰船目标的正确检测率；选取正确检测率最高的迁移学习后网络作为最终的迁移学习后网络，通过该网络使得在星上的运算速度和检测准确率达到要求。
6.一种用于星上对舰船目标检测的Tiny-YOLO网络的优化系统，其特征在于包括：训练模块、确定模块、稀疏化模块、迁移学习模块、转变模块；
训练模块，采用舰船图像的训练样本集合，对原始Tiny-YOLO网络进行训练，得到网络各卷积层内卷积核的参数；
确定模块，根据原始Tiny-YOLO网络结构以及网络内各卷积层内的卷积核的参数，确定用于舰船目标检测的Tiny-YOLO网络；
稀疏化模块，通过减少卷积层内的卷积核，实现对用于舰船目标检测Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络；
迁移学习模块，根据稀疏化模块稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率均达到要求；
转变模块，将迁移学习模块迁移学习后的Tiny-YOLO网络中的卷积核参数由浮点数转变为整数，获得最终的Tiny-YOLO网络。
7.根据权利要求6所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：训练模块中，舰船图像的训练样本集合，由若干包含舰船目标的JPG图像组成。
8.根据权利要求6所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：卷积核由若干3*3大小矩阵描述，卷积核的参数，包括矩阵的数量和矩阵内的元素。
9.根据权利要求6所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：稀疏化模块，通过减少卷积核，实现对用于舰船目标检测的Tiny-YOLO网络进行稀疏化，得到稀疏化后的用于舰船目标检测的Tiny-YOLO网络，具体步骤如下：
根据输入的特征图数量、卷积核内滤波器的尺寸，得到各卷积层对应的向量S，减少该卷积层内卷积核参数的数量，使得用于舰船目标检测的Tiny-YOLO网络在结构上实现稀疏化，得到网络NETS。
10.根据权利要求6所述的一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法，其特征在于：迁移学习模块中，根据稀疏化模块稀疏化后的用于舰船目标检测的Tiny-YOLO网络的各卷积层的位置，进行迁移学习，使稀疏化后的用于舰船目标检测的Tiny-YOLO网络在星上的运算速度和检测准确率达到要求，具体为：
对网络NETS进行微调，采用目舰船样本对网络NETt进行训练，测试迁移学习后的网络对舰船目标的正确检测率；选取正确检测率最高的迁移学习后网络作为最终的迁移学习后网络，通过该网络使得在星上的运算速度和检测准确率达到要求。
CN201910792583.9A 2019-08-26 2019-08-26 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法 Active CN110647977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910792583.9A CN110647977B (zh) 2019-08-26 2019-08-26 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910792583.9A CN110647977B (zh) 2019-08-26 2019-08-26 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法

Publications (2)

Publication Number Publication Date
CN110647977A true CN110647977A (zh) 2020-01-03
CN110647977B CN110647977B (zh) 2023-02-03

Family

ID=68990430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910792583.9A Active CN110647977B (zh) 2019-08-26 2019-08-26 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法

Country Status (1)

Country Link
CN (1) CN110647977B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274980A (zh) * 2020-01-23 2020-06-12 天津大学 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN111401241A (zh) * 2020-03-16 2020-07-10 中国民用航空飞行学院 基于卷积神经网络的海上民用航空器搜寻方法及装置
CN112651376A (zh) * 2021-01-05 2021-04-13 珠海大横琴科技发展有限公司 一种船只检测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN107220643A (zh) * 2017-04-12 2017-09-29 广东工业大学 基于紧凑型神经网络的深度学习模型的交通标志识别系统
US20180330233A1 (en) * 2017-05-11 2018-11-15 General Electric Company Machine learning based scatter correction
CN109376580A (zh) * 2018-08-30 2019-02-22 杭州电子科技大学 一种基于深度学习的电力塔架部件识别方法
CN109815826A (zh) * 2018-12-28 2019-05-28 新大陆数字技术股份有限公司 人脸属性模型的生成方法及装置
CN110097189A (zh) * 2019-05-15 2019-08-06 济南浪潮高新科技投资发展有限公司 一种对翻转残差线性卷积模块的量化友好型剪枝方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN107220643A (zh) * 2017-04-12 2017-09-29 广东工业大学 基于紧凑型神经网络的深度学习模型的交通标志识别系统
US20180330233A1 (en) * 2017-05-11 2018-11-15 General Electric Company Machine learning based scatter correction
CN109376580A (zh) * 2018-08-30 2019-02-22 杭州电子科技大学 一种基于深度学习的电力塔架部件识别方法
CN109815826A (zh) * 2018-12-28 2019-05-28 新大陆数字技术股份有限公司 人脸属性模型的生成方法及装置
CN110097189A (zh) * 2019-05-15 2019-08-06 济南浪潮高新科技投资发展有限公司 一种对翻转残差线性卷积模块的量化友好型剪枝方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUAN WANG ET AL;: "《Structured Probabilistic Pruning for Convolutional Neural Network Acceleration》", 《ARXIV:1709.06994V3》 *
YANG HE 等: "<Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration>", 《IEEE》 *
袁秋壮 等；: "《基于深度学习神经网络的SAR星上目标识别系统研究》", 《上海航天》 *
马啸 等；: "《改进的YOLO模型及其在舰船目标识别中的应用》", 《电讯技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274980A (zh) * 2020-01-23 2020-06-12 天津大学 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN111274980B (zh) * 2020-01-23 2022-04-15 天津大学 基于yolov3和非对称卷积的小尺寸交通标志识别方法
CN111401241A (zh) * 2020-03-16 2020-07-10 中国民用航空飞行学院 基于卷积神经网络的海上民用航空器搜寻方法及装置
CN112651376A (zh) * 2021-01-05 2021-04-13 珠海大横琴科技发展有限公司 一种船只检测方法和装置

Also Published As

Publication number Publication date
CN110647977B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN108596248B (zh) 一种基于改进深度卷积神经网络的遥感影像分类方法
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN108647655B (zh) 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN110136154B (zh) 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110084234B (zh) 一种基于实例分割的声呐图像目标识别方法
CN107239751B (zh) 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法
CN110909667B (zh) 面向多角度sar目标识别网络的轻量化设计方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN110647977B (zh) 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN107832335B (zh) 一种基于上下文深度语义信息的图像检索方法
CN111652193A (zh) 基于多源影像的湿地分类方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN111241970A (zh) 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN113420651A (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
CN116468995A (zh) 一种联合slic超像素和图注意力网络的声呐图像分类方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
CN111192240B (zh) 一种基于随机接入记忆的遥感图像目标检测方法
CN114819061A (zh) 一种基于迁移学习的稀疏sar目标分类方法及装置
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN110674734A (zh) 一种船舰目标检测方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant