CN110674734A - 一种船舰目标检测方法、系统、设备及介质 - Google Patents
一种船舰目标检测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN110674734A CN110674734A CN201910898045.8A CN201910898045A CN110674734A CN 110674734 A CN110674734 A CN 110674734A CN 201910898045 A CN201910898045 A CN 201910898045A CN 110674734 A CN110674734 A CN 110674734A
- Authority
- CN
- China
- Prior art keywords
- convolutional layer
- layer
- feature map
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000001133 acceleration Effects 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 4
- 230000006798 recombination Effects 0.000 claims description 4
- 238000005215 recombination Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000007667 floating Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了一种船舰目标检测方法、系统、设备及介质，获取待检测图像；利用预训练的改进的SSD神经网络模型，对待检测图像进行检测，输出船舰目标检测结果；改进的SSD神经网络模型，通过上采样算子CARAFE实现上采样操作；通过设置损失函数为Focal loss，解决船舰目标检测过程中正负样本比例不均衡的问题使用上采样算子CARAFE与Focal loss改进了SSD模型。基于FPGA中实现的，相对于高功耗的CPU与GPU平台具有更好的能耗比。三是本系统采用了以太网模块进行交互，相对于其他的FPGA平台来说具有更好的易用性。
Description
技术领域
本公开涉及船舰目标检测技术领域，特别是涉及一种船舰目标检测方法、系统、设备及介质。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
随着深度学习的不断发展，相比传统的目标检测方法，深度学习能够大大节省人工设计特征表示的时间，而且精准度上也获得了极大的提高。深度学习根据数据训练出来的舰船目标检测模型具有良好的数据泛化能力，能够适应更多的场合，如海洋，海岸，湖泊等。但深度学习也具有一定的局限性，仅靠CPU运行的深度学习网络运行缓慢，无法实用，而传统的深度学习运行环境需要搭载GPU。这导致了功耗大，无法在功耗敏感的场合运行。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
现有的深度网络FPGA设计一是没有对舰船识别做出特别优化，现有的改进网络其上采样过程计算量大导致网络运行慢，二是没有通用的接口使用不方便。
发明内容
为了解决现有技术的不足，本公开提供了一种船舰目标检测方法、系统、设备及介质；
第一方面，本公开提供了一种船舰目标检测方法；
一种船舰目标检测方法，包括：
获取待检测图像；
利用预训练的改进的SSD神经网络模型，对待检测图像进行检测，输出船舰目标检测结果；
改进的SSD神经网络模型，通过上采样算子CARAFE实现上采样操作；
通过设置损失函数为Focal loss，解决船舰目标检测过程中正负样本比例不均衡的问题
第二方面，本公开还提供了一种船舰目标检测系统；
一种船舰目标检测系统，包括：
获取模块，其被配置为：获取待检测图像；
输出模块，其被配置为：利用预训练的改进的SSD神经网络模型，对待检测图像进行检测，输出船舰目标检测结果；
改进的SSD神经网络模型，通过上采样算子CARAFE实现上采样操作；
通过设置损失函数为Focal loss，解决船舰目标检测过程中正负样本比例不均衡的问题
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
本公开的方法一是使用上采样算子CARAFE与Focal loss改进了SSD模型。二是本平台是基于FPGA中实现的，相对于高功耗的CPU与GPU平台具有更好的能耗比。三是本系统采用了以太网模块进行交互，相对于其他的FPGA平台来说具有更好的易用性。
本公开改进了SSD这种网络结构，在保证精准度的情况下提高网络的运行效率。同时改进了损失函数的计算方法，能够提高在光学图像中对舰船的检测效果。使用CARAFE改进上采样操作在重组时可以有较大的感受野，会根据输入特征来指导重组过程，同时整个算子比较轻量级在改进对小目标识别不敏感的同时使之在效率与准确度上达到平衡。使用Focal loss能够解决舰船目标检测中正负样本比例严重失衡的问题。量化模型操作能够改善参数多，需要的计算量大等问题。
最终利用FPGA设计了一种基于FPGA平台的舰船目标检测系统，对将上述算法迁移至FPGA系统后，能够在保证一定精度的情况下大幅度降低功耗。本公开使用了FPGA作为运算平台，能够大幅度降低功耗，提高能耗比，适应功耗敏感的场合如无人机等。本公开使用了模型改进，量化参数等操作大幅度降低计算量，在保证一定精度的条件加快模型在FPGA上的运行速度。
同时本公开使用HTTP协议设计了一种基于以太网的通用接口能够大幅度提高系统的易用性。本公开同时提供了WEB接口，用户可以使用大多数平台进行调用。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的改进的SSD网络结构示意图；
图2为第一个实施例的FPGA硬件平台结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了一种船舰目标检测方法；
一种船舰目标检测方法，包括：
获取待检测图像；
利用预训练的改进的SSD神经网络模型，对待检测图像进行检测，输出船舰目标检测结果；
改进的SSD神经网络模型，通过上采样算子CARAFE实现上采样操作；
通过设置损失函数为Focal loss，解决船舰目标检测过程中正负样本比例不均衡的问题。
作为一个或多个实施例，所述待检测图像是通过卫星或无人机获取。
作为一个或多个实施例，所述改进的SSD神经网络模型的改进点，包括：上采样算子CARAFE与损失函数Focal loss。
作为一个或多个实施例，如图1所示，所述改进的SSD神经网络模型，包括：
输入层，用于获取输入图像；
卷积层B1，为卷积神经网络VGG16模型的卷积层Conv4_3，经过卷积操作后提取输入图像的第一特征图，所述第一特征图的大小为38*38*512；卷积层B1分别与卷积层B2和卷积层D1连接；
卷积层B2，对第一特征图经过卷积操作后提取第二特征图，第二特征图大小为19*19*1024；卷积层B2分别与卷积层C1和上采样层D2连接；
卷积层C1,对第二特征图经过卷积操作后提取第三特征图，第三特征图大小为10*10*512；卷积层C1分别与上采样层D3和卷积层C2连接；
卷积层D1，将卷积层B1提取的第一特征图经过1*1*512*256卷积核压缩后生成第一压缩特征图，第一压缩特征图大小为38*38*256，生成第一压缩特征图被送入融合层F；
上采样层D2，将卷积层B2提取的第二特征图经过CARAFE算子的上采样运算，得到第一上采样特征图，第一上采样特征图的大小为38*38*256，上采样层D2的输出第一上采样特征图被送入融合层F；
上采样层D3，将卷积层C1提取的第三特征图经过CARAFE算子的上采样运算，得到第二上采样特征图，第二上采样特征图大小为38*38*256，生成的第二上采样特征图被送入融合层F；
融合层F，将卷积层D1、上采样层D2和上采样层D3输出的特征图，进行串联连接操作，进行特征重组得到融合后的特征图F，融合后的特征图F大小为38*38*768；
卷积层C2，将卷积层C1输出的第三特征图作为输入特征，经过卷积操作后得到第四特征图；卷积层C2的输出端分别与卷积层C3和识别层G相连，第四特征图大小为19*19*512；
卷积层C3，将卷积层C2输出的第四特征图作为输入特征，经过卷积操作后得到第五特征图；卷积层C3的输出端分别与卷积层C4和识别层G相连，第五特征图的大小为10*10*256；
卷积层C4，将卷积层C3输出的第五特征图作为输入特征，经过卷积操作后得到第六特征图；卷积层C4的输出端分别与卷积层C5和识别层G相连，第六特征图的大小为5*5*256；
卷积层C5，将卷积层C4输出的第六特征图作为输入特征，经过卷积操作后得到第七特征图；卷积层C5的输出端分别与卷积层C6和识别层G相连，第七特征图的大小为3*3*256；
卷积层C6，将卷积层C5输出的第七特征图作为输入特征，经过卷积操作后得到第八特征图；卷积层C6的输出端与识别层G相连，第八特征图的大小为1*1*256。
识别层G，将融合层F、卷积层C2、卷积层C3、卷积层C4、卷积层C5和卷积层C6的输出值作为输入；为融合层F设置4个先验框，卷积层C2设置6个先验框，卷积层C3设置6个先验框，卷积层C4设置6个先验框，卷积层C5设置4个先验框，卷积层C6设置4个先验框；
每个先验框预测一个边界框，所以SSD一共可以预测38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4＝8732个边界框。
因为SSD是直接回归的检测算法，背景与目标的样本类别不均衡导致准确率下降，负样本数量太大，占总的loss(损失值)的大部分，而且多是容易分类的。
所述改进的SSD神经网络模型，对交叉熵函数更改为focal loss：
Lfl＝-αt(1-pt)γlog(pt)
其中，Lfl为基于focalloss的损失值函数，pt为不同类别的分类概率，γ为调制系数，αt为正负样本对总的loss的共享权重。
α取比较小的值来降低负样本(多的那类样本)的权重。
作为一个或多个实施例，所述改进的SSD神经网络模型预训练过程，包括：
构建改进的SSD神经网络模型；
构建训练集；
将训练集输入到改进的SSD神经网络模型中，对SSD神经网络模型进行训练，得到训练好的改进的SSD神经网络模型。
使用改进的SSD神经网络模型进行训练，将数据集输入至构建好的SSD神经网络模型中进行训练，使用学习率10-3训练迭代前40k次，然后调整学习率为10-4再分别训练20k次，调整学习率为10-5再分别训练10k次；最后对训练出来的模型进行测试，根据测试结果不断的调整训练参数，优化SSD神经网络模型，最终使SSD神经网络模型满足需求。
作为一个或多个实施例，所述训练集，是使用高分二号卫星所拍摄的照片所制作的数据集；所述训练集中包括含有船舰的图像，训练集的图像中标记有船舰位置。
数据集的制备方法，包括：
S1：获取高分二号卫星图像；对获取的高分二号卫星图像去除椒盐噪声，得到第一去噪图像，将第一去噪图像进行灰度化处理，转化为第一灰度图像；对第一灰度图像分割成M*N幅第一待识别图像；
S2：对获取的高分二号卫星图像进行下采样处理，得到高分数据缩略图；去除高分数据缩略图中的椒盐噪声得到第二去噪图像；将第二去噪图像进行灰度化处理，转化为第二灰度图像；将第二灰度图像分割成M*N幅第二待识别图像；第一待识别图像与第二待识别图像之间存在一一对应关系；
S3：记录每一幅第二待识别图像在高分数据缩略图中的坐标位置；
S4：对每一幅第二待识别图像，进行海陆识别，如果识别结果是海洋，则将当前第二待识别图像存储到待分类数据库中；如果识别结果是陆地，则将当前第二待识别图像删除；
根据待分类数据库中每一幅第二待识别图像在高分数据缩略图中的坐标位置，和第一待识别图像与第二待识别图像之间的对应关系，找到对应的第一待识别图像；被找到的第一待识别图像被视为待进行船舰识别的图像；
S5:对每一幅待进行船舰识别的图像，进行船舰初步识别，将识别结果为有船舰的图像存储到待检测数据库中；将识别结果为无船舰的图像直接进行删除处理；
S6:对待检测数据库中的每一幅图像，根据实际地理位置进行图像合并处理，对合并处理后的图像进行船舰位置标记，最终获得带船舰位置标记的数据集。
作为一个或多个实施例，所述海陆识别的具体步骤包括：
S41：使用大津法获得自适应阈值，通过自适应阈值，将每一幅第二待识别图像进行二值化处理，将图像分为陆地或海洋，并将陆地填充为第一颜色的像素，将海洋填充为第二颜色的像素；
S42：利用形态学闭运算对海洋和陆地交界处的边界进行平滑处理；
S43：计算每一幅第二待识别图像的陆地和海洋的像素平均值，如果某幅第二待识别图像的陆地的像素平均值超过设定阈值，则认为当前图像为陆地，如果某幅第二待识别图像的海洋像素的平均值超过设定阈值，则认为当前图像为海洋。
作为一个或多个实施例，所述船舰初步识别的具体步骤包括：
针对每一幅待进行船舰识别的图像，计算二值图像中连通区域的面积；
如果某个连通区域的面积大于20000像素，则认为当前图像不存在舰船；
如果某个连通区域的长宽比或宽长比大于10:1，则认为当前图像不存在舰船；
否则，认为待进行船舰识别的图像中存在船舰。
作为一个或多个实施例，所述进行图像合并处理的具体步骤包括：
S61:首先检查每一张图像的左侧图像与上方图像是否有船；
若左侧图像有船，则将左侧图像的左侧坐标更新至当前图像的左侧坐标；
若上方图像有船，则将上方图像的上方坐标更新至当前图像的上方坐标，相当于合并了两张图片；
S62:再检查每一张图像的右侧图像与下方图像是否有船；
若有船则无操作，若均无船，则利用当前图像的左侧坐标信息、右侧坐标信息、上方坐标信息和下方坐标信息，在原始图像中截取图像。
作为一个或多个实施例，从高分遥感分发与服务系统中下载的高分二号卫星图像数据分辨率一般为宽为29200，高为27600，容量均为1GB左右。为之后的算法能够快速的分割海陆，本发明对图像进行下采样，最终能够得到1:100的高分数据缩略图。
作为一个或多个实施例，所述改进的SSD神经网络模型被加载到FPGA平台中进行工作。
对训练好的参数使用定点量化的方式，将浮点数转化为定点数，输入FPGA平台加快运算。
如图2所示，所述FPGA平台，使用Xilinx的ZYNQ系列处理器，其中包括PS端(Process System)与PL(Programmable Logic)端，AXI总线以及RAM，PS端为以ARM架构处理器为主计算的部分，PL端是以FPGA片上逻辑为主的计算部分，AXI总线是用于PS与PL端的数据传输。
PS端还包括存储单元Storage用于保存训练好的神经网络参数；直接存储器访问DMA用于对内存进行加速访问；以太网Eth作为系统的接口对外提供基于HTTP协议的服务等。
PL端根据所选的FPGA资源搭建多组加速单元，其中一组加速单元包括：卷积加速单元CU、池化加速单元PU、融合加速单元FU和上采样加速单元UU，其中，卷积加速单元CU用于实现算法中的卷积操作，池化加速单元PU用于实现算法中的池化操作，融合加速单元FU用于实现算法中的融合操作，上采样加速单元UU用于实现算法中的上采样操作。
所述FPGA平台具体工作过程，包括：
开机后，PS端将已经训练好的参数以及改进的SSD神经网络模型通过DMA加载至内存中；
在PS端，使用Linux作为基础操作系统，使用Python搭建软件平台提供WEB服务，用户将图片通过WEB服务上传至内存中；
在PS端，ARM的WEB服务接受到舰船一系列图片后为加速多张图片运算过程将进行以下步骤：将多张图片分别输入至多组加速单元中，若图片比加速单元多则等待一组计算单元计算完成；当一组加速单元完成计算后，继续输入图片至加速单元。
在PL端，根据改进后的SSD网络，将所输入的图片利用一组加速单元对图片进行神经网络的卷积加速、池化加速、上采样加速以及融合加速，进行向前传递计算，计算完成后将结果写入至内存中，在PS端对返回结果进行检测，并将计算得到图片中舰船的坐标信息通过WEB返回给用户。
深度神经网络虽然能实现良好的检测效果，但是参数多，计算量大，部署至嵌入式系统中，一是受限于CPU的计算能力无法得到较快的结果，二若使用传统的CPU+GPU则功耗大，无法部署到功耗敏感的环境中。
本公开使用了FPGA作为运算平台，能够大幅度降低功耗，提高能耗比。同时改进了SSD的网络结构，在保证运行精准度情况下能够提高SSD网络模型的运行效率，又改进了损失函数提高了精准度。经过定点量化过后的网络模型的前向传递运算在FPGA中完成，从而实现深度网络模型运算加速，使整个检测过程具有一定的实时性。同时系统向外提供了WEB接口，用户能够使用大多数平台进行调用。
实施例二，本实施例还提供了一种船舰目标检测系统；
一种船舰目标检测系统，包括：
获取模块，其被配置为：获取待检测图像；
输出模块，其被配置为：利用预训练的改进的SSD神经网络模型，对待检测图像进行检测，输出船舰目标检测结果；
改进的SSD神经网络模型，通过上采样算子CARAFE实现上采样操作；
通过设置损失函数为Focal loss，解决船舰目标检测过程中正负样本比例不均衡的问题
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。
实施例五，本实施例还提供了FPGA平台；
FPGA平台，包括：PS端(Process System)与PL(Programmable Logic)端；
PS端还包括存储单元Storage用于保存训练好的神经网络参数；直接存储器访问DMA用于对内存进行加速访问；以太网Eth作为系统的接口对外提供基于HTTP协议的服务等。
PL端根据所选的FPGA资源搭建多组加速单元，其中一组加速单元包括：卷积加速单元CU、池化加速单元PU、融合加速单元FU和上采样加速单元UU，其中，卷积加速单元CU用于实现算法中的卷积操作，池化加速单元PU用于实现算法中的池化操作，融合加速单元FU用于实现算法中的融合操作，上采样加速单元UU用于实现算法中的上采样操作。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种船舰目标检测方法，其特征是，包括：
获取待检测图像；
利用预训练的改进的SSD神经网络模型，对待检测图像进行检测，输出船舰目标检测结果；
改进的SSD神经网络模型，通过上采样算子CARAFE实现上采样操作；
通过设置损失函数为Focal loss，解决船舰目标检测过程中正负样本比例不均衡的问题。
2.如权利要求1所述的方法，其特征是，所述改进的SSD神经网络模型，包括：
输入层，用于获取输入图像；
卷积层B1，为卷积神经网络VGG16模型的卷积层Conv4_3，经过卷积操作后提取输入图像的第一特征图，所述第一特征图的大小为38*38*512；卷积层B1分别与卷积层B2和卷积层D1连接；
卷积层B2，对第一特征图经过卷积操作后提取第二特征图，第二特征图大小为19*19*1024；卷积层B2分别与卷积层C1和上采样层D2连接；
卷积层C1,对第二特征图经过卷积操作后提取第三特征图，第三特征图大小为10*10*512；卷积层C1分别与上采样层D3和卷积层C2连接；
卷积层D1，将卷积层B1提取的第一特征图经过1*1*512*256卷积核压缩后生成第一压缩特征图，第一压缩特征图大小为38*38*256，生成第一压缩特征图被送入融合层F；
上采样层D2，将卷积层B2提取的第二特征图经过CARAFE算子的上采样运算，得到第一上采样特征图，第一上采样特征图的大小为38*38*256，上采样层D2的输出第一上采样特征图被送入融合层F；
上采样层D3，将卷积层C1提取的第三特征图经过CARAFE算子的上采样运算，得到第二上采样特征图，第二上采样特征图大小为38*38*256，生成的第二上采样特征图被送入融合层F；
融合层F，将卷积层D1、上采样层D2和上采样层D3输出的特征图，进行串联连接操作，进行特征重组得到融合后的特征图F，融合后的特征图F大小为38*38*768；
卷积层C2，将卷积层C1输出的第三特征图作为输入特征，经过卷积操作后得到第四特征图；卷积层C2的输出端分别与卷积层C3和识别层G相连，第四特征图大小为19*19*512；
卷积层C3，将卷积层C2输出的第四特征图作为输入特征，经过卷积操作后得到第五特征图；卷积层C3的输出端分别与卷积层C4和识别层G相连，第五特征图的大小为10*10*256；
卷积层C4，将卷积层C3输出的第五特征图作为输入特征，经过卷积操作后得到第六特征图；卷积层C4的输出端分别与卷积层C5和识别层G相连，第六特征图的大小为5*5*256；
卷积层C5，将卷积层C4输出的第六特征图作为输入特征，经过卷积操作后得到第七特征图；卷积层C5的输出端分别与卷积层C6和识别层G相连，第七特征图的大小为3*3*256；
卷积层C6，将卷积层C5输出的第七特征图作为输入特征，经过卷积操作后得到第八特征图；卷积层C6的输出端与识别层G相连，第八特征图的大小为1*1*256；
识别层G，将融合层F、卷积层C2、卷积层C3、卷积层C4、卷积层C5和卷积层C6的输出值作为输入；为融合层F设置4个先验框，卷积层C2设置6个先验框，卷积层C3设置6个先验框，卷积层C4设置6个先验框，卷积层C5设置4个先验框，卷积层C6设置4个先验框；
每个先验框预测一个边界框，所以SSD一共可以预测38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4＝8732个边界框。
3.如权利要求1所述的方法，其特征是，所述改进的SSD神经网络模型，对交叉熵函数更改为focal loss：
Lfl＝-αt(1-pt)γlog(pt)
其中，Lfl为基于focal loss的损失值函数，pt为不同类别的分类概率，γ为调制系数，αt为正负样本对总的loss的共享权重。
4.如权利要求1所述的方法，其特征是，所述改进的SSD神经网络模型预训练过程，包括：
构建改进的SSD神经网络模型；
构建训练集；
将训练集输入到改进的SSD神经网络模型中，对SSD神经网络模型进行训练，得到训练好的改进的SSD神经网络模型。
5.如权利要求1所述的方法，其特征是，所述改进的SSD神经网络模型被加载到FPGA平台中进行工作；
对训练好的参数使用定点量化的方式，将浮点数转化为定点数，输入FPGA平台加快运算。
6.如权利要求1所述的方法，其特征是，所述FPGA平台，使用Xilinx的ZYNQ系列处理器，其中包括PS端、PL端、AXI总线以及RAM，PS端为以ARM架构处理器为主计算的部分，PL端是以FPGA片上逻辑为主的计算部分，AXI总线是用于PS与PL端的数据传输；
PS端还包括存储单元Storage用于保存训练好的神经网络参数；直接存储器访问DMA用于对内存进行加速访问；以太网Eth作为系统的接口对外提供基于HTTP协议的服务；
PL端根据所选的FPGA资源搭建多组加速单元，其中一组加速单元包括：卷积加速单元CU、池化加速单元PU、融合加速单元FU和上采样加速单元UU，其中，卷积加速单元CU用于实现算法中的卷积操作，池化加速单元PU用于实现算法中的池化操作，融合加速单元FU用于实现算法中的融合操作，上采样加速单元UU用于实现算法中的上采样操作。
7.如权利要求1所述的方法，其特征是，所述FPGA平台具体工作过程，包括：
开机后，PS端将已经训练好的参数以及改进的SSD神经网络模型通过DMA加载至内存中；
在PS端，使用Linux作为基础操作系统，使用Python搭建软件平台提供WEB服务，用户将图片通过WEB服务上传至内存中；
在PS端，ARM的WEB服务接受到舰船一系列图片后为加速多张图片运算过程将进行以下步骤：将多张图片分别输入至多组加速单元中，若图片比加速单元多则等待一组计算单元计算完成；当一组加速单元完成计算后，继续输入图片至加速单元。
在PL端，根据改进后的SSD网络，将所输入的图片利用一组加速单元对图片进行神经网络的卷积加速、池化加速、上采样加速以及融合加速，进行向前传递计算，计算完成后将结果写入至内存中，在PS端对返回结果进行检测，并将计算得到图片中舰船的坐标信息通过WEB返回给用户。
8.一种船舰目标检测系统，其特征是，包括：
获取模块，其被配置为：获取待检测图像；
输出模块，其被配置为：利用预训练的改进的SSD神经网络模型，对待检测图像进行检测，输出船舰目标检测结果；
改进的SSD神经网络模型，通过上采样算子CARAFE实现上采样操作；
通过设置损失函数为Focal loss，解决船舰目标检测过程中正负样本比例不均衡的问题。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910898045.8A CN110674734A (zh) | 2019-09-23 | 2019-09-23 | 一种船舰目标检测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910898045.8A CN110674734A (zh) | 2019-09-23 | 2019-09-23 | 一种船舰目标检测方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110674734A true CN110674734A (zh) | 2020-01-10 |
Family
ID=69077471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910898045.8A Withdrawn CN110674734A (zh) | 2019-09-23 | 2019-09-23 | 一种船舰目标检测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110674734A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401290A (zh) * | 2020-03-24 | 2020-07-10 | 杭州博雅鸿图视频技术有限公司 | 一种人脸检测方法及系统、计算机可读存储介质 |
| CN112330651A (zh) * | 2020-11-13 | 2021-02-05 | 山东师范大学 | 一种基于深度学习的Logo检测方法及系统 |
-
2019
- 2019-09-23 CN CN201910898045.8A patent/CN110674734A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401290A (zh) * | 2020-03-24 | 2020-07-10 | 杭州博雅鸿图视频技术有限公司 | 一种人脸检测方法及系统、计算机可读存储介质 |
| CN112330651A (zh) * | 2020-11-13 | 2021-02-05 | 山东师范大学 | 一种基于深度学习的Logo检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211137B (zh) | 基于残差网络和U-Net分割网络的卫星图像分割方法 | |
| EP3940591A1 (en) | Image generating method, neural network compression method, and related apparatus and device | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN108647655B (zh) | 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法 | |
| CN110084234B (zh) | 一种基于实例分割的声呐图像目标识别方法 | |
| CN112465748B (zh) | 基于神经网络的裂缝识别方法、装置、设备及存储介质 | |
| CN111091105A (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| CN112465057B (zh) | 一种基于深度卷积神经网络的目标检测识别方法 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN111460999A (zh) | 一种基于fpga的低空航拍影像目标跟踪的方法 | |
| CN115546630A (zh) | 基于遥感影像特征目标检测的工地提取方法和系统 | |
| CN110516560B (zh) | 基于fpga异构深度学习的光学遥感图像目标检测方法 | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN113743417B (zh) | 语义分割方法和语义分割装置 | |
| CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| CN112950642A (zh) | 点云实例分割模型的训练方法、装置、电子设备和介质 | |
| CN111160114A (zh) | 手势识别方法、装置、设备及计算机可读存储介质 | |
| CN110674734A (zh) | 一种船舰目标检测方法、系统、设备及介质 | |
| CN110647977B (zh) | 一种用于星上对舰船目标检测的Tiny-YOLO网络的优化方法 | |
| CN111738403A (zh) | 一种神经网络的优化方法及相关设备 | |
| CN116416244A (zh) | 一种基于深度学习的裂缝检测方法及系统 | |
| CN113436125A (zh) | 基于风格迁移的侧扫声呐仿真图像生成方法、装置及设备 | |
| CN112532251A (zh) | 一种数据处理的方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200110 |
|
| WW01 | Invention patent application withdrawn after publication |