CN113642410A - 一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法 - Google Patents

一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法 Download PDF

Info

Publication number
CN113642410A
CN113642410A CN202110803421.8A CN202110803421A CN113642410A CN 113642410 A CN113642410 A CN 113642410A CN 202110803421 A CN202110803421 A CN 202110803421A CN 113642410 A CN113642410 A CN 113642410A
Authority
CN
China
Prior art keywords
ampullaria gigas
network
feature fusion
eggs
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110803421.8A
Other languages
English (en)
Other versions
CN113642410B (zh
Inventor
刘宁钟
徐亚欣
寇金桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110803421.8A priority Critical patent/CN113642410B/zh
Publication of CN113642410A publication Critical patent/CN113642410A/zh
Application granted granted Critical
Publication of CN113642410B publication Critical patent/CN113642410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度特征融合及动态卷积福寿螺卵检测方法,属于计算机视觉技术领域,提高了当前福寿螺卵检测的准确率。本发明包括以下步骤:首先采集福寿螺卵的航拍图像,并对其中的虫卵进行标注;之后再darknet53网络结构的基础上,使用四尺度特征融合和动态卷积,构造出新的网络结构;将获得的福寿螺卵数据集送入神经网络进行训练,直至网络收敛,获得权重文件;然后利用训练好的神经网络和权重文件来检测测试图像中的福寿螺卵目标,并输出检测结果。本发明解决了目前福寿螺卵识别准确度低、模型在真实自然环境下对福寿螺卵识别率低的问题。

Description

一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法
技术领域
本发明属于计算机视觉技术领域,尤其涉及一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法。
背景技术
近些年计算机视觉的快速发展,使得智慧农业、科学防疫等场景成为一种现实的存在,人们越来越倾向使用计算机视觉技术检测潜在的病虫危害。现有的大多数目标检测方法只能对虫卵进行分类,或在特定背景条件而非自然环境中检测它们,在面对复杂的真实世界场景,它们不能取得良好的效果。
在病虫害防治方面,为了解决分类问题,Konantinos P.Ferentinos等人开发了一个基于VGG卷积神经网络架构的特殊深度学习模型,用于通过简单的健康或生病的叶片图像来识别植物疾病。实验在17548张图像上进行,准确率达到99.53%(top-1误差0.47%);该模型是在一个公开的数据集上训练的,该数据集由25种植物和疾病的组合以及87848张图像组成;它还验证了在单个GPU上进行单个图像分类需要大约两毫秒的时间,这使得该模型有可能被整合到移动应用程序中,以应用到其他领域,该模型可以帮助种植者或农学家对大规模田地进行实时监测;然而它只能对病害进行分类,不能检测病害的数量和位置。
在检测方面,Shen等人基于深度学习物体检测框架,对被瓦楞纸板型诱捕器诱捕的害虫图像进行定位和识别,基于深度学习的物体检测框架Faster R-CNN[9],取得了88%的平均识别精度。然而,这种方法是为特定背景设计的而在现实世界中不够稳健。AlvaroFuentes等人提出了一个基于深度学习的鲁棒性检测器来检测番茄植物病害,该模型使用R-FCN与ResNeXt-50为主干。可以识别9种不同类型的病害,并达到85.98%的平均精度(mAP)。然而,该模型对一些疾病检测效果不够理想,如叶霉病、灰霉病、溃疡病和瘟疫。
在实际应用层面,已经有很多基于深度学习的害虫检测系统。Everton CastelaoTetila等人提出一种基于深度学习的大豆害虫自动分类和计数方法。采用Slic超级像素分割算法对图片中的害虫进行分割,100%微调(FT)的Densenet-201模型的分类精度达到94.89%,平均检测精度达到90.86%。X.F.Xu等人使用Parasnet检测细胞水平的隐孢子虫和贾第虫散射图像。他们在自己的细胞级散射图像上达到了超过95.6%的准确率。在嵌入式Jetson TX2设备上以100fps的速度实现。现有的方法缺陷主要有:基于多模块的卷积神经网络的方法模型精确度鲁棒性不高,对一些特定的目标检测效果较差。
发明内容
本发明提出了一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法,解决了目前福寿螺虫卵识别准确度低、模型健壮性差的问题。
为了实现上述目的,本发明的技术方案为:
一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法,包括以下步骤:
(1)数据集获取过程:采集针对福寿螺卵的航拍图像,并对其中的虫卵进行标注,标注出图像中虫卵的种类和位置;
(2)构建神经网络过程:使用darknet53作为骨干网络,将卷积核全部替换为动态卷积核,更精确地提取特征;再添加第四个针对更小目标的分支,与其它三个分支的特征进行融合,更准确地定位和识别小目标;
(3)神经网络训练过程:将标注后的福寿螺卵图像数据集送入步骤2构建的神经网络进行训练,直至网络收敛;
(4)测试图像检测过程:利用训练好的神经网络和权重文件来检测测试图像中的福寿螺卵目标。
以上所述步骤中,步骤(2)中的动态卷积相较于其他神经网络中的传统卷积方式,动态卷积能够更好地提取输入的特征,并且四个尺度的特征融合能够更好地检测小目标,步骤(2)具体包括以下步骤:
(21)在darknet53网络中使用动态卷积模块,更精确地根据不同的输入图像自身的信息,生成各个初始卷积核的权重,再通过初始卷积核及权重的加权和得到各自输入图像的动态卷积核,从而更精确地提取图像信息;
(22)增加第四个分支以获得更高层次的语义信息,将高层次的语义信息与浅层细节信息进行融合,使福寿螺卵的检测结果更好。
进一步地,在步骤(21)中使用动态卷积来提取图片特征信息,拥有更高的准确性;
进一步地,在步骤(22)中使用四个尺度的特征融合,将高层次的语义信息与浅层细节信息进行融合,使神经网络对小目标的检测性能更好;
步骤(3)中具体包括以下步骤:
(31)针对数据集中目标的大小,使用k-means聚类算法,计算适合福寿螺卵尺寸的anchors作为网络的超参数,加快网络收敛速度;
(32)学习率使用余弦衰减的方式,从初始值进行衰减,使神经网络能够达到更好的检测结果;
(33)在神经网络上尝试不同的训练超参数,进行训练,当损失函数收敛或者达到最大迭代次数时,停止训练得到可用于福寿螺卵检测的网络文件和权重文件;
进一步地,步骤(31)中使用IOU值进行K-means聚类,在采集到的数据集上生成12个大小不同的先验框,分别对应四个大小不同的尺度,每个尺度均对应四个先验框;
进一步地,步骤(32)中利用余弦函数进行学习率衰减,余弦衰减学习率计算公式如下:
global_step=min(global_step,decay_steps)
cosine_decay=0.5*(1+cos(pi*global_step/decay_steps))
decayed=(1-alpha)*cosine_decay+alpha
decayed_learning_rate=learning_rate*decayed
进一步地,步骤(33)中,根据经验和多次的尝试,在训练过程中尝试各种参数的取值,使网络得到更好的收敛效果。
步骤(4)具体包括以下步骤:
(41)将测试图像送入改进的darknet主干网络中,获取四个尺度的卷积特征图;
(42)将四个尺度的特征进行分层融合;
(43)通过darknet算法对卷积特征图进行处理,输出预测边界值与分类值;
(44)设置阈值,通过非极大值抑制,只保留效果最好的检测框,其余的都过滤掉,若检测框效果都不好都过滤掉,过滤出最终的检测结果。
有益效果:本发明提出了一种基于多尺度特征融合和动态卷积的福寿螺卵检测方法,通过在darknet的主干网网络的基础上使用四尺度特征融合,可以提取更深层的语义信息,增强了对小目标的识别能力;通过改进方式darknet的卷积方式,使用动态卷积,能更有效地提取特征,提升了福寿螺虫卵检测的准确率。
附图说明
图1是本发明实施例的整体流程图;
图2是本发明实施例步骤2的流程图;
图3是本发明实施例步骤3的流程图;
图4是本发明实施例步骤4的流程图;
图5是本发明实施例中的检测结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明:
如图1所示,一种基于多尺度特征融合和动态卷积的福寿螺卵检测方法,包括以下步骤:
步骤1:获取数据集,采集针对福寿螺卵的航拍图像,并对其中的虫卵进行标注;
步骤2:构建神经网络,使用darknet53作为骨干网络,将卷积核全部替换为动态卷积核,更精确地提取特征;再添加第四个针对更小目标的分支,与其它三个分支的特征进行融合,更准确地定位和识别小目标;
步骤3:训练神经网络,将获得的福寿螺卵数据集送入神经网络进行训练,直至网络收敛;
步骤4:图像检测,利用训练好的神经网络和权重文件来检测测试图像中的福寿螺卵;
在本实施例中,具体采用以下技术方案:
步骤1:利用无人机在太湖水域航拍,采集包含福寿螺卵的图片,再利用标注软件对死亡和鲜活两个种类的虫卵进行标注;
步骤2:首先,增加第四个分支进行特征的提取,再利用动态卷积更有效地提取特征,最终将各特征融合,如图2所示,步骤2的具体展开步骤如下:
步骤201:将darknet网络第十一层的特征与第三个分支提取的特征进行融合,再进行特征提取,形成第四个分支;
步骤202:再利用动态方式生成动态卷积核替代darknet中的卷积核;
步骤203:将利用动态卷积提取到的四个尺度特征进行融合;
如图3所示,步骤3的具体展开步骤如下:
步骤301:在对网络进行训练前,重新计算数据集的anchors,替换原始的anchors,使网络更容易收敛,收敛的更快,提高模型的IoU;
步骤302:使用ImageNet预训练权重作为初始权重,设置学习率、迭代次数、batch_size等;学习率使用余弦衰减的方式,从初始值进行衰减,使神经网络能够达到更好的检测结果;
步骤303:对输入图像进行增广,进行训练,当损失函数收敛或者达到最大迭代次数时,停止训练获得可用于福寿螺卵检测的权重文件。
如图4所示,步骤4的具体展开步骤如下:
步骤401:将测试图像送入改进的darknet主干网络中,获取四个尺度的卷积特征图;
步骤402:将四个尺度的特征进行分层融合;
步骤403:通过darknet算法对卷积特征图进行处理,输出预测边界框与分类值;
步骤404:通过非极大值抑制,只保留效果最好的检测框,其余的都过滤掉,若检测框效果都不好,则都过滤掉,过滤出最终的检测结果。
图5为福寿螺卵图像和使用本发明方法的检测结果,经检验,上述方法可达到96.0%的检测精确度。
以上所述实施例仅为说明本发明的优选实施方式,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。

Claims (7)

1.一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法,其特征在于,包括以下步骤:
(1)数据集获取过程:采集针对福寿螺卵的航拍图像,并对其中的虫卵进行标注,标注出图像中虫卵的种类和位置;
(2)构建神经网络过程:使用darknet53作为骨干网络,将卷积核全部替换为动态卷积核,再添加第四个针对更小目标的分支,与其它三个分支的特征进行融合;
(3)神经网络训练过程:将标注后的福寿螺卵图像数据集送入步骤2构建的神经网络进行训练,直至网络收敛;
(4)测试图像检测过程:利用训练好的神经网络和权重文件来检测测试图像中的福寿螺卵目标。
2.根据权利要求1所述的基于多尺度特征融合及动态卷积的福寿螺卵检测方法,其特征在于,步骤(2)具体包括以下步骤:
(21)在darknet53网络中使用动态卷积模块,更精确地根据不同的输入图像自身的信息,生成各个初始卷积核的权重,再通过初始卷积核及权重的加权和得到各自输入图像的动态卷积核,从而更精确地提取图像信息;
(22)增加第四个分支以获得更高层次的语义信息,将高层次的语义信息与浅层细节信息进行融合,使神经网络对小目标的的检测结果更好。
3.根据权利要求1所述的基于多尺度特征融合及动态卷积的福寿螺卵检测方法,其特征在于,步骤(3)具体包括以下步骤:
(31)针对数据集中目标的大小,使用k-means聚类算法,计算适合福寿螺卵尺寸的anchors作为网络的超参数,加快网络收敛速度;
(32)学习率使用余弦衰减的方式,从初始值进行衰减,使神经网络能够达到更好的检测结果;
(33)在神经网络上尝试不同的训练超参数,进行训练,得到可用于福寿螺卵检测的网络文件和权重文件。
4.根据权利要求3所述的基于多尺度特征融合及动态卷积的福寿螺卵检测方法,其特征在于,步骤(31)中使用IOU值进行K-means聚类,在采集到的数据集上生成12个大小不同的先验框,分别对应四个大小不同的尺度,每个尺度均对应四个先验框。
5.根据权利要求3所述的基于多尺度特征融合及动态卷积的福寿螺卵检测方法,其特征在于,步骤(32)中利用余弦函数进行学习率衰减。
6.根据权利要求5所述的基于多尺度特征融合及动态卷积的福寿螺卵检测方法,其特征在于,所述余弦衰减学习率计算公式如下:
global_step=min(global_step,decay_steps)
cosine_decay=0.5*(1+cos(pi*global_step/decay_steps))
decayed=(1-alpha)*cosine_decay+alpha
decayed_learning_rate=learning_rate*decayed。
7.根据权利要求1所述的基于多尺度特征融合及动态卷积的福寿螺卵检测方法,其特征在于,步骤(4)具体包括以下步骤:
(41)将测试图像送入改进的darknet主干网络中,获取四个尺度的卷积特征图;
(42)将四个尺度的特征进行分层融合;
(43)通过darknet算法对卷积特征图进行处理,输出预测边界值与分类值;
(44)设置阈值,通过非极大值抑制过滤出最终的检测结果。
CN202110803421.8A 2021-07-15 2021-07-15 一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法 Active CN113642410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803421.8A CN113642410B (zh) 2021-07-15 2021-07-15 一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803421.8A CN113642410B (zh) 2021-07-15 2021-07-15 一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法

Publications (2)

Publication Number Publication Date
CN113642410A true CN113642410A (zh) 2021-11-12
CN113642410B CN113642410B (zh) 2024-03-29

Family

ID=78417469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803421.8A Active CN113642410B (zh) 2021-07-15 2021-07-15 一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法

Country Status (1)

Country Link
CN (1) CN113642410B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445674A (zh) * 2021-12-13 2022-05-06 上海悠络客电子科技股份有限公司 一种基于多尺度融合卷积的目标检测模型搜索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886066A (zh) * 2018-12-17 2019-06-14 南京理工大学 基于多尺度和多层特征融合的快速目标检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109886066A (zh) * 2018-12-17 2019-06-14 南京理工大学 基于多尺度和多层特征融合的快速目标检测方法
CN112149661A (zh) * 2020-08-07 2020-12-29 珠海欧比特宇航科技股份有限公司 车牌识别方法、装置及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445674A (zh) * 2021-12-13 2022-05-06 上海悠络客电子科技股份有限公司 一种基于多尺度融合卷积的目标检测模型搜索方法

Also Published As

Publication number Publication date
CN113642410B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
Sadeghi-Tehran et al. DeepCount: in-field automatic quantification of wheat spikes using simple linear iterative clustering and deep convolutional neural networks
EP3614308B1 (en) Joint deep learning for land cover and land use classification
CN111046880B (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN111723654B (zh) 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN108961229A (zh) 基于深度学习的心血管oct影像易损失斑块检测方法及系统
Nasution et al. Eggplant Disease Detection Using Yolo Algorithm Telegram Notified
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN110992377B (zh) 图像分割方法、装置、计算机可读存储介质和设备
Yu et al. An integrated rice panicle phenotyping method based on X-ray and RGB scanning and deep learning
CN113111947B (zh) 图像处理方法、装置和计算机可读存储介质
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
Shen et al. Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm
Li et al. Multi-scale sparse network with cross-attention mechanism for image-based butterflies fine-grained classification
CN110047075A (zh) 一种基于对抗网络的ct图像分割方法
Gleason et al. A fusion approach for tree crown delineation from lidar data.
Liang et al. StomataScorer: a portable and high‐throughput leaf stomata trait scorer combined with deep learning and an improved CV model
CN114648806A (zh) 一种多机制自适应的眼底图像分割方法
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
Zhang et al. Robust image segmentation method for cotton leaf under natural conditions based on immune algorithm and PCNN algorithm
CN113642410B (zh) 一种基于多尺度特征融合及动态卷积的福寿螺卵检测方法
CN116543386A (zh) 一种基于卷积神经网络的农业病虫害图像识别方法
Yuan et al. Sensitivity examination of YOLOv4 regarding test image distortion and training dataset attribute for apple flower bud classification
Yu et al. Large-scale gastric cancer screening and localization using multi-task deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant