CN116187398A - 一种无人机海洋图像检测用轻量神经网络搭建方法及设备 - Google Patents

一种无人机海洋图像检测用轻量神经网络搭建方法及设备 Download PDF

Info

Publication number
CN116187398A
CN116187398A CN202310205976.1A CN202310205976A CN116187398A CN 116187398 A CN116187398 A CN 116187398A CN 202310205976 A CN202310205976 A CN 202310205976A CN 116187398 A CN116187398 A CN 116187398A
Authority
CN
China
Prior art keywords
neural network
unmanned aerial
aerial vehicle
lightweight
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310205976.1A
Other languages
English (en)
Other versions
CN116187398B (zh
Inventor
魏玲
赵天旭
胥志伟
杨晓刚
丁来辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Weiran Intelligent Technology Co ltd
Original Assignee
Shandong Weiran Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Weiran Intelligent Technology Co ltd filed Critical Shandong Weiran Intelligent Technology Co ltd
Publication of CN116187398A publication Critical patent/CN116187398A/zh
Application granted granted Critical
Publication of CN116187398B publication Critical patent/CN116187398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种无人机海洋图像检测用轻量神经网络搭建方法及设备，搭建方法的大体过程为：获取高分辨率的海洋图像数据；搭建轻量化神经网络模型；训练轻量化神经网络模型；测试轻量化神经网络模型。模型搭建完成之后，将轻量化神经网络模型搭载在无人机平台上，在具体应用场景中，通过无人机拍摄获取海洋图像数据，将图像数据输入到所搭建的轻量化目标检测神经网络模型中，得到检测完成的图像数据。本发明提供了一种轻量化的、精测精度高且可以直接应用于无人机海洋检测的神经网络模型，可以完成图像实时在线分析，快速有效的处理短时间内产生的海量海洋图像信息，对海洋图像的采集和处理以及对海洋生物的自动分析具有很好的应用前景。

Description

一种无人机海洋图像检测用轻量神经网络搭建方法及设备
技术领域
本发明属于无人机海洋检测技术领域，尤其涉及一种无人机海洋图像检测用轻量神经网络搭建方法及设备。
背景技术
无人机获取当下场景的图像后，无人机和计算机视觉结合检测图像中的物体属性成为当下工业和学术界研究热点。无人机海洋图像的目标检测在海洋救援、海洋漂浮垃圾清理、精确制导和威胁预警等民用及军事领域有重要应用。海洋环境复杂,近海岸区域存在高辐射虚警源，纯海洋(远海岸)区域存在海洋杂波及云雾干扰。且微弱目标信杂比低，图像视场面积占比小，缺少目标检测可利用的纹理信息及形态学特征。因此无人机海洋图像目标检测充满挑战，研究高鲁棒性及高普适性的算法具有显著意义。
无人机视角广能够搭载相机等设备和设计飞行路线获取地面信息，而无人机节点组网可以进一步扩大节点覆盖范围，高效率的完成各种场景下的任务。然而现有的网络框架往往权值数量特别庞大，导致推理开销大和检测速率慢，当前使用深度学习物体检测的优秀网络不适合在无人机上应用。
深度学习的快速发展使得神经网络也朝着更深的层数，更大的宽度和更复杂的模型的方向发展，这虽然在一定程度上提高了对目标物体检测精度，但毫无疑问使得模型变得庞大，增加了对计算机算力的考验。由于对计算机计算能力的要求，这就导致了这些网络不能在像无人机这种计算能力弱的小型移动端设备上进行部署。因此对于轻量化卷积神经网络的设计尤为重要，在设计优化的网络结构的同时对相同任务的精度不造成影响，才能实现在无人机等移动端或嵌入式设备上部署和运行，实现真正的卷积神经网络的应用价值。当然，此工作也吸引了大量的研究人员探索。目前对于轻量化卷积神经网络的设计主要有三种方法，基于紧性卷积结构设计，基于模型压缩的轻量化卷积神经网络和基于神经网络结构搜索的方法。
现有的基于紧性卷积结构设计卷积神经网络虽然可以有效的减少网络的计算量和参数量，但这需要设计人员大量的理论知识和先验技能，这些网络的特殊结构造成模型的泛化能力较差；而现有基于模型压缩的轻量化卷积神经网络，低秩分解和参数量化方法模型精度都会有一定的损失，模型剪枝方法需要花费很大的时间成本制定对应的剪枝策略，知识蒸馏方法一般只能应用于在分类任务中，应用场景有限。
因此，现有技术中缺乏一种轻量化的、精测精度高且可以直接应用于无人机海洋检测的神经网络模型，以实现无人机海洋图像的实时在线分析。
发明内容
针对上述问题，本发明通过合理规划，先获取无人机海洋图像并进行预处理，然后将图像载入预先建立并训练好的轻量化卷积神经网络模型中，使得设计优化网络结构的同时对相同任务的精度不造成影响，最终输出检测完成的图像。实现对无人机高分辨率海洋图像实时在线地分析，实现在无人机海洋图像检测中的实际应用价值。
本发明第一方面提供了一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，包括以下步骤：
步骤1，获取海洋原始图像数据，对原始图像数据进行预处理获得图像数据集，并划分训练集、验证集和测试集；
步骤2，搭建轻量化神经网络模型；采用Shuffle-Net V2作为轻量化神经网络结构基本单元进行改进，并定义步长为1的基本模块为Unit1，定义步长为2的下采样模块为Unit2；将Shuffle-Net V2的1×1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图；在Unit1部分额外添加1×1Ghost-Conv卷积操作；在Shuffle-Net V2上添加深度可分离卷积操作；将RELU函数替换为h-Swish函数；添加SE模块，完成轻量化卷积神经网络基本模块结构Ghost-Shuffle的搭建；
基于Zen-NAS神经网络搜索算法，添加参数量和计算量的约束条件，在轻量化的搜索空间内进行网络架构的搜索，并根据Zen-Score的分数搜索出最终的网络Ghost-ShuffleNet；
对搜索得到的轻量化主干网络Ghost-Shuffle Net使用Ghost-PAN进行特征融合，最终得到可以直接在海洋检测无人机上使用的轻量化目标检测神经网络模型Ghost-Shuffle Net-L；
步骤3，将步骤1中的得到图像数据集对步骤2中获得的轻量化目标检测神经网络模型进行训练并完成测试。
优选的，所述步骤1中图像数据集的目标类别标签包括人、船、车、溢油、海、陆地、植被、建筑物和天空。
优选的，所述步骤2中基于Zen-NAS神经网络搜索算法的具体搜索步骤为：
S1，使用初始结构F0随机生成10个结构作为初始的进化种子，加入到进化空间P；
S2，随机选择步骤S1中一个结构并选择一个Ghost-Shuffle模块进行突变，使用突变算法生成新的突变结构，替换原来的网络结构F生成新的网络结构F′；
S3，计算F′的计算量是否小于预设计算量B，参数量是否小于预设参数量C，并且网络深度是否小于预设网络深度L；如果同时满足要求则计算F′的Zen-Score，并把F′加入到进化空间P；
S4，如果进化空间P的数量超过了进化保留数量N，移除Zen-Score值最小的网络结构，始终保持进化空间不超过进化保留数量N；
S5，不断重复上述步骤S2至S4，直到达到进化算法迭代次数T，停止搜索；
S6，从进化空间P中取Zen-Score值最大的网络结构作为最后的搜索结果。
优选的，所述步骤S2中的突变算法具体为：
S21，随机选择网络结构F中一个Ghost-Shuffle模块；
S22，从搜索空间S中的卷积核大小、输出通道数量、瓶颈层通道数量或堆叠次数中任意选择一项进行改变，得到新的突变结构；
S23，返回新的突变结构。
优选的，所述步骤2中将Shuffle-Net V2的1×1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图具体为：
采用正常卷积生成m个原始特征图Y∈Rh’×w’×m：Y＝X*f，其中X∈Rc×h×w表示输入数据，*是卷积运算，f∈Rc×k×k×w是当前层的卷积核；另外，c是输入通道数，k是卷积核的大小，h和w是输入数据的高度和宽度，h’和w’是输出数据的高度和宽度，为了简化运算，这里忽略了偏移项；为了进一步得到最终的n个特征图，采用廉价的线性运算将m个原始特征图映射生成s个幻影特征图：
Figure BDA0004110973900000041
其中yi是m个特征图中的第i个特征图，Φi，j是第j个线性运算，用来生成第j个幻影特征图yij。
优选的，所述步骤2中h-Swish函数的公式为：
Figure BDA0004110973900000051
其中ReLU6是普通的ReLU但是限制最大输出值为6。
优选的，所述步骤2中的SE模块包括压缩和激励两个部分；所述压缩部分假设输入的特征图的维度为H×W×C，其中H、W、C分别表示特征图的高度、宽度和通道数；所述压缩部分使用全局池化操作将H×W×C维压缩为1×1×C维，后面加入一个全连接层，进行非线性变化，通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性，最后将激励部分的结果作为权重，通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，得到输出特征。
本发明第二方面提供了一种无人机海洋图像检测方法，包括以下过程：
通过无人机拍摄获取海洋图像数据；
将图像数据输入到如第一方面所述的搭建方法所搭建的轻量化目标检测神经网络模型Ghost-Shuffle Net-L中；
通过模型对图像数据进行实时在线地分析，完成标注并输出分析所获得的图像。
本发明第三方面提供了一种无人机海洋图像检测设备，所述设备包括至少一个处理器和至少一个存储器；所述存储器中存储有如第一方面所述搭建方法所搭建的轻量化目标检测神经网络模型的程序；所述处理器执行所述存储器存储的程序时，可以实现无人机海洋检测图像的实时在线分析。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有如第一方面所述搭建方法所搭建的轻量化目标检测神经网络模型的计算机执行程序，所述计算机执行程序被处理器执行时，可以实现无人机海洋检测图像的实时在线分析。
与现有技术相比，本发明中提出的无人机海洋图像检测用轻量卷积神经网络可以产生如下有益效果：
本发明所搭建的轻量化目标检测神经网络模型Ghost-Shuffle Net-L可以完成无人机高分辨率图像实时在线地分析，可以快速有效的处理短时间内产生的海量海洋图像信息，对海洋图像的采集和处理以及对海洋生物的自动分析具有很好的应用前景,对提高海洋生物的现场监测以及赤潮的快速预测水平都将起到积极的作用。
同时本发明中涉及到的搭载的轻量化卷积神经网络在做到轻量化的同时检测精度高，更少的参数量和计算量，算法具有有效性和泛化性，适用于海洋图像检测的无人机平台。本发明提出新的Ghost-Shuffle基本单元模块，从根本上降低了网络的参数量和计算量，减小了模型的复杂度；其次，以轻量化搜索空间和添加参数量、计算量约束的网络结构搜索方式搜索得到的Ghost-Shuffle Net具有一定的泛化能力，准确率较高，并为其他轻量化卷积神经网络的设计提供指导；搜索的轻量化的主干网络Ghost-Shuffle Net并不能直接用于目标检测，本发明使用Ghost-PAN实现特征融合，Ghost-PAN同样使用了GhostBlock，包括一组1×1卷积和3×3卷积，大大减少了特征金字塔模块的计算量和参数量，并且性能更强。
附图说明
图1为本现有技术中Shuffle-Net V2基本模块结构图。
图2为本发明中Ghost-Shuffle的基本模块结构图。
图3为本发明中利用算法搜索出的Ghost-Shuffle Net网络结构图。
图4为本发明最终搭建完成的目标检测网络Ghost-Shuffle Net-L结构示意图。
图5为本发明无人机海洋图像检测设备的简易结构示意图。
具体实施方式
下面结合具体实施例对发明进行进一步说明。
实施例1：
为了实现无人机海洋图像的实时在线分析，本发明提出了一种无人机海洋图像检测用轻量神经网络搭建方法，大体过程为：步骤一，获取高分辨率的海洋图像数据；步骤二，搭建轻量化神经网络模型；步骤三，训练轻量化神经网络模型；步骤四，测试轻量化神经网络模型。模型搭建完成之后，将轻量化神经网络模型搭载在无人机平台上，在具体应用场景中，通过无人机拍摄获取海洋图像数据，将图像数据输入到所搭建的轻量化目标检测神经网络模型中，得到检测完成的图像数据。
一、获取高分辨率的海洋图像数据
1.图像采集
本实施例所使用的无人机是大疆经纬Matrice 210v2，简称M210v2，M210v2是一款行业应用无人机平台。在空中作业能力方面，M210v2的IP防护等级达到了IP43，机身可靠耐用，同时配备智能飞行电池(TB55-7660mAh-22.8V)，保证其续航能力。在算法实验应用方面，M210v2具有设计紧密、扩展灵活的特点，配备有丰富的接口用于扩展并与计算设备连接，同时下置双云台使其可以搭载性能出色的云台相机。M210v2兼容大疆为开发者所提供的Onboard-SDK，能够使开发者根据需求进行二次开发工作。计算设备选用妙算Manifold2-G。妙算Manifold 2-G是一款专为智能机器打造的高性能机载计算机，具备卓越的处理能力和响应速度，扩展灵活，适配于M210v2无人机平台和飞控系统。妙算Manifold 2-G搭载处理器为NIVIDIA Jetson TX2，用于物体识别、图像处理等任务。
本实施例选择640×640的图像尺寸作为模型输入尺寸作为模型精度和性能的平衡。即在640×640的分辨率下搜索最优的网络结构。
2.图像数据集制作
完成自制数据集OUC-UAV-DET。现有的VisDrone数据集作为大型的无人机场景下的航拍数据集，促进了无人机场景下的计算机视觉算法与应用的发展。然而，VisDrone数据集仍然有一些不足。首先，VisDrone数据集的图像分辨率大部分在1080×750和1920×1080之间，这种分辨率的图像不足以覆盖无人机拍摄图像的尺寸，分辨率为4000×3000的图像也非常常见。其次，尽管VisDrone数据集来自于国内的多个城市的不同环境，但更多的是面向地面的场景。因此，本文针对VisDrone等现有数据集的不足，结合我们的面向海洋的实际应用场景，整理并制作了OUC-UAV-DET数据集。该数据集共有800张图像，其中600张作为训练集，100张作为验证集，100张作为测试集。图像分辨率4000×2250和4000×3000。一共有9个类别，分别为人、船、车、溢油、海、陆地、植被、建筑物、天空。
3.图像预处理
用图像标注软件对海洋图像中待检测的目标进行标注,类别标签为person(人)，boat(船)，car(车)，oil(溢油)，sea(海)，land(陆地)，
vegetation(植被)，building(建筑物)，sky(天空)。
二、搭建轻量化神经网络模型
本实施例使用的无人机平台选用妙算Manifold 2-G作为计算设备，妙算Manifold2-G作为嵌入式设备，算力、内存、读写均不能与服务器相比，因此多方面的因素会制约模型在无人机平台上的推理性能。为了解决复杂的神经网络不能在这样计算力较弱的小型移动端设备上进行部署的问题，搭建了基于神经网络结构搜索的轻量化卷积神经网络。
本发明采用Shuffle-Net V2作为轻量化神经网络结构基本单元进行改进。Shuffle-Net V2网络基本单元如图1所示，左边是由步长为1的基本模块，右边是步长为2的下采样模块两个基本单元模块。本发明设计的Ghost-Shuffle网络采用Shuffle-Net V2基本单元作为轻量化网络模块进行改进，基本模块结构如图2所示，左边为步长为1的GhostShuffle-Unit1，右边为步长为2的GhostShuffle-Unit2。
将Shuffle-Net V2的1×1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图；在Unit1部分额外添加1×1Ghost-Conv卷积操作；在Shuffle-Net V2上添加深度可分离卷积操作；将RELU函数替换为h-Swish函数；添加SE模块，完成轻量化卷积神经网络基本模块结构Ghost-Shuffle的搭建；
基于Zen-NAS神经网络搜索算法，添加参数量和计算量的约束条件，在轻量化的搜索空间内进行网络架构的搜索，并根据Zen-Score的分数搜索出最终的网络Ghost-ShuffleNet；
对搜索得到的轻量化主干网络Ghost-Shuffle Net使用Ghost-PAN进行特征融合，最终得到可以直接在海洋检测无人机上使用的轻量化目标检测神经网络模型Ghost-Shuffle Net-L。
具体方法为：
首先，将Shuffle-Net V2的1×1点卷积替换为GhostNet中提出的全新的卷积模块Ghost卷积，然后通过廉价的一系列的线性变换生成了更多的特征图。具体地，采用正常卷积生成m个原始特征图Y∈Rh’×w’×m：Y＝X*f，其中X∈Rc×h×w表示输入数据，*是卷积运算，f∈Rc×k×k×w是当前层的卷积核；另外，c是输入通道数，k是卷积核的大小，h和w是输入数据的高度和宽度，h’和w’是输出数据的高度和宽度，为了简化运算，这里忽略了偏移项；为了进一步得到最终的n个特征图，采用廉价的线性运算将m个原始特征图映射生成s个幻影特征图：
Figure BDA0004110973900000101
其中yi是m个特征图中的第i个特征图，Φi，j是第j个线性运算，用来生成第j个幻影特征图yij。
与传统卷积相比，Ghost卷积分为两步：先采用正常的卷积运算-包括卷积、归一化、非线性激活，为了减少计算量，得到少量的特征图，然后在这个基础上通过线性变换，将两部分的特征图进行Concat(连接)操作就得到了最后的输出。
其次，Ghost-Shuffle Unit1额外添加1×1Ghost-Conv卷积。不同于Shuffle-NetV2直接将输入特征图的一半与另一侧经过3×3深度卷积的输出进行Concat(连接)操作，Ghost-Shuffle额外在此分支添加了1×1Ghost-Conv卷积操作。此操作是为了升维或者降维并与另一侧的输出通道数保持相同。
然后，添加深度可分离卷积操作。Ghost-Shuffle基本单元模块中，包含一个K×K深度分离卷积操作。其中K的取值为3，5，7。同样地，下文中将使用NAS方法对卷积核大小的取值进行搜索。采用深度可分离卷积的Ghost-Shuffle基本单元模块，相对于普通卷积参数量会减少很多。
再者，将ReLU函数替换为h-Swish函数。h-Switch是Mobile-Net V3中提出的激活函数，大大降低了计算量，同时由于h-Swish函数是由一些简单的算子组合而成，可以方便地在任何框架中实现。h-Swish的计算公式如下：
Figure BDA0004110973900000111
其中ReLU6是普通的ReLU但是限制最大输出值为6(对输出值做clip)，这是为了在移动端设备float16的低精度的时候，也能有很好的数值分辨率，如果对ReLU的激活范围不加限制，输出范围为0到正无穷，如果激活值非常大，分布在一个很大的范围内，则低精度的float16无法很好地精确描述如此大范围的数值，带来精度损失。在Ghost-Shuffle基本单元中，本文将所有的RELU函数替换为h-Switch函数。
最后，添加SE模块。SE模块是Squeeze-and-Excitation Networks中提出的通道注意力模块。SE模块包括压缩和激励两个部分；所述压缩部分假设输入的特征图的维度为H×W×C，其中H、W、C分别表示特征图的高度、宽度和通道数；所述压缩部分使用全局池化操作将H×W×C维压缩为1×1×C维，后面加入一个全连接层，进行非线性变化，通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性，最后将激励部分的结果作为权重，通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，得到输出特征。
Zero-shot搜索方法可以把搜索时间控制在几个GPU Days，节省了大量的对海洋图像的计算资源与搜索时间。完成轻量化卷积神经网络基本模块结构Ghost-Shuffle的搭建后，基于最新的Zero-shot的Zen-NAS算法进行搜索，添加了参数量和计算量的约束，它利用深度神经网络的表达能力与模型精度呈正相关的关系，设计了一种测量网络表达能力的方法Zen-Score，通过计算Zen-Score，比较Zen-Score的大小即可判断网的表达能力。
使用Zen-NAS进化算法对Ghost-Shuffle模块的组成Ghost-Shuffle Net进行搜索时，为了找到更轻量化的网络结构，防止搜索时陷入局部最优，在搜索时添加了参数量和计算量的约束，以参数量和计算量为约束，对每个搜索到的网络计算其参数量和计算量，同时满足约束的网络结构才会加入到进化空间中，具体搜索步骤如下：
S1，使用初始结构F0随机生成10个结构作为初始的进化种子，加入到进化空间P；
S2，随机选择步骤S1中一个结构并选择一个Ghost-Shuffle模块进行突变，使用突变算法生成新的突变结构，替换原来的网络结构F生成新的网络结构F′；
S3，计算F′的计算量是否小于预设计算量B，参数量是否小于预设参数量C，并且网络深度是否小于预设网络深度L；如果同时满足要求则计算F′的Zen-Score，并把F′加入到进化空间P；
S4，如果进化空间P的数量超过了进化保留数量N，移除Zen-Score值最小的网络结构，始终保持进化空间不超过进化保留数量N；
S5，不断重复上述步骤S2至S4，直到达到进化算法迭代次数T，停止搜索；
S6，从进化空间P中取Zen-Score值最大的网络结构作为最后的搜索结果。
利用算法搜索出的Ghost-Shuffle Net网络结构图如图3所示，“GS Unit”代表Ghost-Shuffle基本单元模块，每个Stage的第一个Ghost-Shuffle基本单元模块为步长等于2的Ghost-Shuffle Unit2，其余的Ghost-Shuffle基本单元模块为Ghost-ShuffleUnit1。1*1，3*3，5*5，7*7分别代表了卷积核的大小为1，3，5，7。Conv表示普通卷积，BN表示Batch Normalization(批标准化)，HS表示H-Swish。
上述搜索的轻量化的主干网络Ghost-Shuffle Net并不能直接用于目标检测。识别不同尺寸的物体对于目标检测任务是一个基本的挑战，特征金字塔FPN的提出，有效的解决了目标检测中的多尺度问题：底层特征具有精确的位置信息，但是含有语义信息较少；高层特征具有丰富的语义信息，但是位置信息粗略，FPN通过融合不同特征图上的特征，并且在融合后的不同尺度的特征图上进行预测，取得了很好的检测效果，并成为目标检测任务中不可或缺的部分。但是，传统的FPN计算量较大，会影响目标检测的速度，不适合在无人机中使用。为了在无人机设备中使用轻量化的特征金字塔模块，本发明使用Ghost-PAN实现特征融合。Ghost-PAN同样使用了GhostBlock，包括一组1×1卷积和3×3卷积，大大减少了特征金字塔模块的计算量和参数量，并且性能更强。最终得到可以直接在无人机上使用的目标检测网络GhostShuffleNet-L，具体模型结构如图4所示。
三、训练轻量化神经网络模型
本实施例的架构搜索实验搜索迭代次数为48000次，搜索时数据集的单次训练样本数设置为64，占用现存为2GB，可以在目前大部分的GPU上进行实验。进化空间的大小设置为512，同时，搜索时本发明限制了网络的最大深度不超过40层，因为轻量化的网络结构不需要太深的网络，过深过浅的网络都会影响网络的性能。搜索的参数包括卷积核大小，输出通道数，瓶颈层通道数，基本模块堆叠次数，其中卷积核大小从3、5、7中取值，为了限制过宽的网络，输出通道数和瓶颈层通道数不超过2048，并且可以被8整除，这样可以提高硬件设备上的推理速度。使用标注好的高分辨率图像训练数据，输入轻量化卷积神经网络模型Ghost-Shuffle Net-L中进行运算，得到训练成熟的轻量化卷积神经网络模型。
四、测试轻量化神经网络模型
Ghost-Shuffle Net-L轻量化卷积神经网络在OUC-UAV-DET数据集上的结果(mAP、AP50、AP75、计算量、参数量)，与现有相关方法进行对比，表1展示了不同网络在OUC-UAV-DET数据集上的对比实验结果。第二列、第三列和第四列展示的衡量模型精度的指标mAp、AP50、AP75，数值越大表示精度越高，模型检测的更准。第五列和第六列分别是衡量模型复杂度的重要参数-参数量和计算量，都是用M作为计量单位，数值越小表示模型的复杂度越低，模型越轻量化。本发明提出的Ghost-Shuffle Net-L在OUC-UAV-DET上取得了8.38％的准确率，模型的参数量仅为6.61M，计算量仅为11.20G。OUC-UAV-DET数据集的分辨率大，本发明没有采用切图等策略，而是直接缩放到640×640之后作为网络的输入。尽管如此，Ghost-Shuffle Net-L在参数量和计算量更少的情况下，依然取得了更高的精度，远高于NanoDet和YOLOXs等轻量化网络。
表1:不同方法在OUC-UAV-DET数据集上的对比实验结果
Figure BDA0004110973900000151
实施例2：
如图5所示，本发明同时提供了一种无人机海洋图像检测设备，所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如实施例1所述搭建方法所搭建的轻量化目标检测神经网络模型的程序；所述处理器执行所述存储器存储的程序时，可以实现无人机海洋检测图像的实时在线分析。其中内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(XtendedIndustry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。其中存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。设备可以被提供为终端、服务器或其它形态的设备。
图5是为示例性示出的一种设备的框图。设备可以包括以下一个或多个组件：处理组件，存储器，电源组件，多媒体组件，音频组件，输入/输出(I/O)的接口，传感器组件，以及通信组件。处理组件通常控制电子设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件可以包括一个或多个处理器来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件可以包括一个或多个模块，便于处理组件和其他组件之间的交互。例如，处理组件可以包括多媒体模块，以方便多媒体组件和处理组件之间的交互。
存储器被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件为电子设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。多媒体组件包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。I/O接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件可以检测到电子设备的打开/关闭状态，组件的相对定位，例如所述组件为电子设备的显示器和小键盘，传感器组件还可以检测电子设备或电子设备一个组件的位置改变，用户与电子设备接触的存在或不存在，电子设备方位或加速/减速和电子设备的温度变化。传感器组件可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
实施例3：
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有如实施例1所述搭建方法所搭建的轻量化目标检测神经网络模型的计算机执行程序，所述计算机执行程序被处理器执行时，可以实现无人机海洋检测图像的实时在线分析。
具体地，可以提供配有可读存储介质的系统、装置或设备，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统、装置或设备的计算机或处理器读出并执行存储在该可读存储介质中的指令。在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘(如CD-ROM、CD-R、CD-RW、DVD-20ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带等。存储介质可以是通用或专用计算机能够存取的任何可用介质。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
应理解存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于，包括以下步骤：
步骤1，获取海洋原始图像数据，对原始图像数据进行预处理获得图像数据集，并划分训练集、验证集和测试集；
步骤2，搭建轻量化神经网络模型；采用Shuffle-Net V2作为轻量化神经网络结构基本单元进行改进，并定义步长为1的基本模块为Unit1，定义步长为2的下采样模块为Unit2；将Shuffle-Net V2的1×1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图；在Unit1部分额外添加1×1Ghost-Conv卷积操作；在Shuffle-Net V2上添加深度可分离卷积操作；将RELU函数替换为h-Swish函数；添加SE模块，完成轻量化卷积神经网络基本模块结构Ghost-Shuffle的搭建；
基于Zen-NAS神经网络搜索算法，添加参数量和计算量的约束条件，在轻量化的搜索空间内进行网络架构的搜索，并根据Zen-Score的分数搜索出最终的网络Ghost-ShuffleNet；
对搜索得到的轻量化主干网络Ghost-Shuffle Net使用Ghost-PAN进行特征融合，最终得到可以直接在海洋检测无人机上使用的轻量化目标检测神经网络模型Ghost-ShuffleNet-L；
步骤3，将步骤1中的得到图像数据集对步骤2中获得的轻量化目标检测神经网络模型进行训练并完成测试。
2.如权利要求1所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于：所述步骤1中图像数据集的目标类别标签包括人、船、车、溢油、海、陆地、植被、建筑物和天空。
3.如权利要求1所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于：所述步骤2中基于Zen-NAS神经网络搜索算法的具体搜索步骤为：
S1，使用初始结构F0随机生成10个结构作为初始的进化种子，加入到进化空间P；
S2，随机选择步骤S1中一个结构并选择一个Ghost-Shuffle模块进行突变，使用突变算法生成新的突变结构，替换原来的网络结构F生成新的网络结构F′；
S3，计算F′的计算量是否小于预设计算量B，参数量是否小于预设参数量C，并且网络深度是否小于预设网络深度L；如果同时满足要求则计算F′的Zen-Score，并把F′加入到进化空间P；
S4，如果进化空间P的数量超过了进化保留数量N，移除Zen-Score值最小的网络结构，始终保持进化空间不超过进化保留数量N；
S5，不断重复上述步骤S2至S4，直到达到进化算法迭代次数T，停止搜索；
S6，从进化空间P中取Zen-Score值最大的网络结构作为最后的搜索结果。
4.如权利要求3所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于，所述步骤S2中的突变算法具体为：
S21，随机选择网络结构F中一个Ghost-Shuffle模块；
S22，从搜索空间S中的卷积核大小、输出通道数量、瓶颈层通道数量或堆叠次数中任意选择一项进行改变，得到新的突变结构；
S23，返回新的突变结构。
5.如权利要求1所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于，所述步骤2中将Shuffle-Net V2的1×1点卷积替换为Ghost卷积，通过一系列廉价的线性变换生成更多的特征图具体为：
采用正常卷积生成m个原始特征图Y∈Rh’×w’×m：Y＝X*f，其中X∈Rc×h×w表示输入数据，*是卷积运算，f∈Rc×k×k×w是当前层的卷积核；另外，c是输入通道数，k是卷积核的大小，h和w是输入数据的高度和宽度，h’和w’是输出数据的高度和宽度，为了简化运算，这里忽略了偏移项；为了进一步得到最终的n个特征图，采用廉价的线性运算将m个原始特征图映射生成s个幻影特征图：
Figure FDA0004110973890000031
其中yi是m个特征图中的第i个特征图，Φi，j是第j个线性运算，用来生成第j个幻影特征图yij。
6.如权利要求1所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于，所述步骤2中h-Swish函数的公式为：
Figure FDA0004110973890000032
其中ReLU6是普通的ReLU但是限制最大输出值为6。
7.如权利要求1所述的一种无人机海洋图像检测用轻量卷积神经网络模型的搭建方法，其特征在于：所述步骤2中的SE模块包括压缩和激励两个部分；所述压缩部分假设输入的特征图的维度为H×W×C，其中H、W、C分别表示特征图的高度、宽度和通道数；所述压缩部分使用全局池化操作将H×W×C维压缩为1×1×C维，后面加入一个全连接层，进行非线性变化，通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性，最后将激励部分的结果作为权重，通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，得到输出特征。
8.一种无人机海洋图像检测方法，其特征在于，包括以下过程：
通过无人机拍摄获取海洋图像数据；
将图像数据输入到如权利要求1至7任意一项所述的搭建方法所搭建的轻量化目标检测神经网络模型Ghost-Shuffle Net-L中；
通过模型对图像数据进行实时在线地分析，完成标注并输出分析所获得的图像。
9.一种无人机海洋图像检测设备，其特征在于：所述设备包括至少一个处理器和至少一个存储器；所述存储器中存储有如权利要求1至7任意一项所述搭建方法所搭建的轻量化目标检测神经网络模型的程序；所述处理器执行所述存储器存储的程序时，可以实现无人机海洋检测图像的实时在线分析。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有如权利要求1至7任意一项所述搭建方法所搭建的轻量化目标检测神经网络模型的计算机执行程序，所述计算机执行程序被处理器执行时，可以实现无人机海洋检测图像的实时在线分析。
CN202310205976.1A 2022-05-16 2023-03-06 一种无人机海洋图像检测用轻量神经网络搭建方法及设备 Active CN116187398B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2022105253839 2022-05-16
CN202210525383.9A CN114626510A (zh) 2022-05-16 2022-05-16 一种无人机检测用轻量卷积神经网络搭建的方法及设备

Publications (2)

Publication Number Publication Date
CN116187398A true CN116187398A (zh) 2023-05-30
CN116187398B CN116187398B (zh) 2023-08-25

Family

ID=81907212

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210525383.9A Pending CN114626510A (zh) 2022-05-16 2022-05-16 一种无人机检测用轻量卷积神经网络搭建的方法及设备
CN202310205976.1A Active CN116187398B (zh) 2022-05-16 2023-03-06 一种无人机海洋图像检测用轻量神经网络搭建方法及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210525383.9A Pending CN114626510A (zh) 2022-05-16 2022-05-16 一种无人机检测用轻量卷积神经网络搭建的方法及设备

Country Status (1)

Country Link
CN (2) CN114626510A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843691A (zh) * 2023-09-01 2023-10-03 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备
CN117392527A (zh) * 2023-12-11 2024-01-12 中国海洋大学 一种高精度水下目标分类检测方法及其模型搭建方法
CN118196423A (zh) * 2024-05-17 2024-06-14 山东巍然智能科技有限公司 一种用于无人机海岸带图像的去水方法及其模型搭建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238019A1 (zh) * 2020-05-29 2021-12-02 苏州大学 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN114332666A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于轻量化神经网络模型的图像目标检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238019A1 (zh) * 2020-05-29 2021-12-02 苏州大学 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN114332666A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于轻量化神经网络模型的图像目标检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI HAN等: "GhostNet: More Features from Cheap Operations", pages 1 - 10, Retrieved from the Internet <URL:https://arxiv.org/pdf/1911.11907.pdf> *
MING LIN等: "Zen-NAS: A Zero-Shot NAS for High-Performance Image Recognition", pages 1 - 43, Retrieved from the Internet <URL:https://arxiv.org/pdf/2102.01063.pdf> *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843691A (zh) * 2023-09-01 2023-10-03 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备
CN116843691B (zh) * 2023-09-01 2024-01-26 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备
CN117392527A (zh) * 2023-12-11 2024-01-12 中国海洋大学 一种高精度水下目标分类检测方法及其模型搭建方法
CN117392527B (zh) * 2023-12-11 2024-02-06 中国海洋大学 一种高精度水下目标分类检测方法及其模型搭建方法
CN118196423A (zh) * 2024-05-17 2024-06-14 山东巍然智能科技有限公司 一种用于无人机海岸带图像的去水方法及其模型搭建方法

Also Published As

Publication number Publication date
CN114626510A (zh) 2022-06-14
CN116187398B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN116187398B (zh) 一种无人机海洋图像检测用轻量神经网络搭建方法及设备
CN108388888B (zh) 一种车辆识别方法、装置和存储介质
US20200356821A1 (en) Method, terminal, and computer storage medium for image classification
US10902056B2 (en) Method and apparatus for processing image
Zhilenkov et al. Intelligent autonomous navigation system for UAV in randomly changing environmental conditions
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN114494158A (zh) 一种图像处理方法、一种车道线检测方法及相关设备
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN115641518A (zh) 一种无人机用视图感知网络模型及目标检测方法
CN114998744B (zh) 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置
CN112328911B (zh) 地点推荐方法、装置、设备及存储介质
CN116863286A (zh) 一种双流目标检测方法及其模型搭建方法
CN114117206B (zh) 推荐模型处理方法、装置、电子设备及存储介质
US11030456B1 (en) Systems and methods for geo-localization in sensor-deprived or sensor-limited environments
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
Chen et al. Water surface garbage detection based on lightweight YOLOv5
He et al. A novel image recognition algorithm of target identification for unmanned surface vehicles based on deep learning
CN111178370B (zh) 车辆检索方法及相关装置
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
CN115272412B (zh) 一种基于边缘计算的低小慢目标检测方法及跟踪系统
Ye et al. Shadow detection on urban satellite images based on building texture
Li et al. Easily deployable real-time detection method for small traffic signs
CN118172561B (zh) 一种无人机场景用复杂图像分割模型及分割方法
CN114970654B (zh) 数据处理方法、装置和终端
Zhou et al. LSCB: a lightweight feature extraction block for SAR automatic target recognition and detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant