CN112926605A - 一种自然场景下多阶段草莓果实快速检测方法 - Google Patents
一种自然场景下多阶段草莓果实快速检测方法 Download PDFInfo
- Publication number
- CN112926605A CN112926605A CN202110354577.2A CN202110354577A CN112926605A CN 112926605 A CN112926605 A CN 112926605A CN 202110354577 A CN202110354577 A CN 202110354577A CN 112926605 A CN112926605 A CN 112926605A
- Authority
- CN
- China
- Prior art keywords
- kernel size
- convolutional
- convolution
- feature map
- depth separable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 92
- 235000016623 Fragaria vesca Nutrition 0.000 title claims abstract description 80
- 235000011363 Fragaria x ananassa Nutrition 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 240000009088 Fragaria x ananassa Species 0.000 title 1
- 241000220223 Fragaria Species 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000001629 suppression Effects 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 238000002845 discoloration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003475 lamination Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 235000021012 strawberries Nutrition 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000010902 straw Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000021028 berry Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 235000019605 sweet taste sensations Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自然场景下多阶段草莓果实快速检测方法。本发明步骤是：采集自然场景下草莓图像数据并制作数据集，输入图像，使用指挥网络提取细节指导特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_2模块提取与特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_4模块提取与特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_8模块提取与特征，使用深度可分离卷积进行降维，与细节指导特征相加后使用Drs_8模块提取与特征，进行两级特征融合，使用增强损失函数计算增强损失，使用NMS非极大值抑制，得到检测结果。本发明能够快速同时检测多种生长阶段的草莓果实。
Description
技术领域
本发明涉及一般的图像数据处理，具体地说，是在自然场景下基于DL-YOLOv3(英文全称Directorial and lightweight–You Only Look Once v3，结合指挥网络的轻量级YOLOv3网络)的多阶段草莓果实快速检测方法。
背景技术
草莓味道甜美，是人们喜爱的小浆果之一，在种植过程中，由于生长环境复杂和果实较小，人工采摘和生长观测效率不高，人工成本一直在总支出中占较高比例。近年来，基于人工智能的农业机器人被引入生产过程中，执行劳动密集的采摘任务。但草莓种植生产过程提出了更高的要求：能够快速对多个生长阶段的果实进行检测，这样有利于连续监测作物生长和营养状况，并且预估作物产量，优化农场种植过程。因此，对多阶段草莓果实的快速检测和识别成为了智能农业的最新研究方向。
由于不同生长阶段的草莓果实外形有较大差异，草莓果实较小、在不同生长阶段草莓数量不同导致的类别不平衡，给多阶段草莓果实检测任务带来了较大困难。NikolasLamb等人在“A strawberry detection system using convolutional neural networks”一文中将模型压缩后的SSD算法嵌入到硬件中用于检测草莓果实，但该方法仅能检测成熟果实。Xu Liming等人在“Automated strawberry grading system based on imageprocessing”一文中提取草莓的形状、大小和颜色三个特征，利用多属性决策理论对草莓自动分级，该方法处理的草莓图像简单，并非在真实生长环境中检测草莓。Lin Mar Oo等人在“A simple and efficient method for automatic strawberry shape and sizeestimation and classification”一文中基于草莓果实形状提取直径、长度和顶角等特征，并输入三层神经网络进行分类，该方法处理的草莓图像背景简单，不适合在田间使用。CN111274877A公开了一种基于卷积神经网络的草莓果实检测方法，该方法只区分成熟和未成熟果实，不能检测其他生长阶段的草莓果实。CN110223349A公开了一种采摘点定位方法，该方法使用DenseNet与ResNet结构改进YOLOv3，由于参数较多导致模型复杂，检测速度较慢。
发明内容
针对现有技术的不足，本发明所要解决的技术问题是：提出一种在自然场景下基于DL-YOLOv3的多阶段草莓果实快速检测方法。
本发明方法使用指挥网络提取细节指导特征，与主干网络结合形成双流网络，针对草莓果实特点去除大尺度目标检测分支，使用深度可分离卷积代替普通卷积，大大减少了网络模型参数量，得到改进的YOLOv3模型，即DL-YOLOv3网络，本申请的网络结构不仅体积较小，还能检测到多阶段包括尺寸较小的草莓果实，另外通过指数增强二值交叉熵和二倍增强均方误差结合的损失函数来增强模型对类别的关注度，解决了不同阶段果实数量不平衡的问题，最终能够在自然场景下对多阶段的草莓果实进行快速精准检测。
本发明一种在自然场景下基于DL-YOLOv3的多阶段草莓果实快速检测方法，将包含不同生长阶段草莓果实的草莓图像输入到DL-YOLOv3网络中，实现多阶段草莓果实的快速检测，具体步骤如下：
第一步，采集自然场景下草莓图像数据并制作数据集：
将草莓果实生长过程划分为成熟果实(mature)、变色期幼果(turning)、膨大期幼果(expanding)、初期幼果(young_fruit)、花朵(flowering)和花蕾(squaring)等六个阶段；
第二步，使用指挥网络提取细节指导特征：
第2.1步，将上述第一步得到的草莓图像作为输入，先用卷积核大小为3×3的深度卷积层将图像大小归一化为608×608像素，然后用卷积核大小为1×1的卷积层进行特征提取，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为3×3的深度可分离卷积层提取G2.1的特征，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝γ3(G2.1) (1)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第2.3步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.3，如下公式(2)所示：
G2.3＝γ3(φ1(G2.2)) (2)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第2.4步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.4，如下公式(3)所示：
G2.4＝γ3(φ1(G2.3)) (3)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.5，如下公式(4)所示：
G2.5＝γ3(φ1(G2.4)) (4)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第三步，使用指挥网络与主干网络相结合的双流网络提取特征：
第3.1步，将特征图G2.1作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.2步中提取的特征G2.2相加，得到特征图G3.1，如下公式(5)所示：
G3.1＝γ3(G2.1)+G2.2 (5)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.2步，构建Drs_2模块并提取特征：将特征图G3.1作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.1相加，得到特征图G3.2.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.2.1相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.2；
第3.3步，将特征图G3.2作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.3步中提取的特征G2.3相加，得到特征图G3.3，如下公式(6)所示：
G3.3＝γ3(G3.2)+G2.3 (6)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.4步，构建Drs_4模块并提取特征：将特征图G3.3作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.3相加，得到特征图G3.4.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.1相加得到特征图G3.4.2，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.2相加得到特征图G3.4.3，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.3相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.4；
第3.5步，将特征图G3.4作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.4步中提取的特征G2.4相加，得到特征图G3.5，如下公式(7)所示：
G3.5＝γ3(G3.4)+G2.4 (7)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.6步，构建Drs_8模块并提取特征：将特征图G3.5作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.5相加，得到特征图G3.6.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.1相加得到特征图G3.6.2，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.2相加得到特征图G3.6.3，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.3相加得到特征图G3.6.4，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.3相加得到特征图G3.6.4，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.4相加得到特征图G3.6.5，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.5相加得到特征图G3.6.6，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.6相加得到特征图G3.6.7，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.7相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.6；
第3.7步，将特征图G3.6作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.5步中提取的特征G2.5相加，得到特征图G3.7，如下公式(8)所示：
G3.7＝γ3(G3.6)+G2.5 (8)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.8步，再次使用Drs_8模块进行特征提取，得到特征图G3.8；
第四步，将上述第3.6步、第3.8步输出的特征图进行两级特征融合：
第4.1步，将第3.6步提取的特征图G3.6作为输入，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到特征图G4.1；
第4.2步，使用卷积核大小为1×1的卷积层提取G4.1的特征，得到特征图G4.2，特征值作为预测值；
第4.3步，将特征图G4.1进行二倍上采样，与第3.8步输出的特征图G3.8进行特征拼接，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提取特征，得到特征图G4.3，特征值作为预测值；
第五步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第4.2步、第4.3步输出的预测值与实际值之间的损失：
第5.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第5.2步，草莓果实生长的6个阶段，分别为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，对应的目标类别标签设置为0、1、2、3、4、5；
第5.3步，计算预测值与实际值之间的损失，包括：
(1)指数增强二值交叉熵EBCE(cls)，表示类别预测值与实际值的损失，如下公式(9)所示:
其中：
为类别预测值，clsij为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数；
(2)均方误差MSE(x)，表示第0、1、2类目标中心点横坐标预测值与实际值的损失，如下公式(10)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(3)均方误差MSE(y)，表示第0、1、2类目标中心点纵坐标预测值与实际值的损失，如下公式(11)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(4)均方误差MSE(w)，表示第0、1、2类目标宽度预测值与实际值的损失，如下公式(12)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(5)均方误差MSE(h)，表示第0、1、2类目标高度预测值与实际值的损失，如下公式(13)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(6)二倍增强均方误差EMSE(x)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失，如下公式(14)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(7)二倍增强均方误差EMSE(y)，表示第3、4、5类目标中心点纵坐标预测值与实际值的损失，如下公式(15)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(8)二倍增强均方误差EMSE(w)，表示第3、4、5类目标宽度预测值与实际值的损失，如下公式(16)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(9)二倍增强均方误差EMSE(h)，表示第3、4、5类目标高度预测值与实际值的损失，如下公式(17)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(10)二值交叉熵BCE(conf)，表示目标置信度预测值与实际值的损失，如下公式(18)所示：
其中：
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数；
(11)最终损失函数如下公式(19)所示：
其中：N为类别编号；
第六步，对模型预测结果进行NMS(Non-Maximum Suppression,非极大值抑制)，生成最终检测结果；
至此，完成了自然场景下基于DL-YOLOv3的多阶段草莓果实快速检测。
具体地，上述基于DL-YOLOv3的多阶段草莓果实快速检测方法，所述第五步中指数增强二值交叉熵的增强指数
为20，S为19。
上述基于DL-YOLOv3的多阶段草莓果实快速检测方法，其中的NMS，全称为Non-Maximum Suppression，中文名为非极大值抑制，为本技术领域公知的算法。
上述基于DL-YOLOv3的多阶段草莓果实快速检测方法，其中的YOLOv3，全称为YouOnly Look Once v3，为本技术领域公知的算法。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法使用指挥网络提取细节指导特征图，与主干网络相结合形成双流网络提取特征，将不同层次的细节指导特征图与不同层次的主干网络特征图相加，能够充分融合浅层网络保留的细节特征和深层网络提取的语义特征，提升网络对不同尺寸目标的感知能力，特别是对小目标的识别能力，克服了由于草莓果实较小难以检测的问题。
(2)本发明方法根据草莓果实特点，去除YOLOv3模型中的大尺度目标预测分支，将模型的检测部分由三个分支减少为两个分支，用于检测中等尺寸和小尺寸目标，减少了特征提取和特征融合所占用的模型空间和推理时间。
(3)本发明方法在指挥网络和主干网络中使用深度可分离卷积提取特征，大大减少了模型所需参数量，DL-YOLOv3模型大小仅为17MB，远小于YOLOv3模型240MB大小，DL-YOLOv3检测速度为120fps，大于YOLOv3检测速度18fps。
附图说明
图1是本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的整体流程图；
图2是本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的Drs_2模块图；
图3是本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的Drs_4模块图；
图4是本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的Drs_8模块图；
图5是本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的两级特征融合模块图；
图6是自然场景下草莓图像使用本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法检测后的效果图之一；
图7是自然场景下草莓图像使用本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法检测后的效果图之二；
图8是自然场景下草莓图像使用本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法检测后的效果图之三；
图9是自然场景下草莓图像使用本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法检测后的效果图之四。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
图1所示实施例表明，本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的整体流程如下：
采集自然场景下草莓图像数据并制作数据集→输入图像→图像归一化为608×608大小→使用卷积核大小为1×1的卷积层提取特征→使用卷积核大小为3×3的深度可分离卷积层进行特征降维→使用卷积核大小为1×1的卷积层扩充通道数→使用卷积核大小为3×3的深度可分离卷积层进行特征降维→使用卷积核大小为1×1的卷积层扩充通道数→使用卷积核大小为3×3的深度可分离卷积层进行特征降维→使用卷积核大小为1×1的卷积层扩充通道数→使用卷积核大小为3×3的深度可分离卷积层进行特征降维→与细节指导特征相加→使用Drs_2模块提取特征→使用卷积核大小为3×3的深度可分离卷积层进行特征降维→与细节指导特征相加→使用Drs_4模型提取特征→使用卷积核大小为3×3的深度可分离卷积层进行特征降维→与细节指导特征相加→使用Drs_8模块提取特征→使用卷积核大小为3×3的深度可分离卷积层进行特征降维→与细节指导特征相加→使用Drs_8模块提取特征→进行两级特征融合→使用增强损失函数计算损失→NMS非极大值抑制→得到检测结果。
图2所示实施例表明，本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的Drs_2模块流程如下：
输入特征图→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提取特征→得到输出特征图。
图3所示实施例表明，本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的Drs_4模块的流程如下：
输入特征图→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提取特征→得到输出特征图。
图4所示实施例表明，本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的Drs_8模块的流程如下：
输入特征图→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层提取特征→得到输出特征图。
图5所示实施例表明，本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的两级特征融合模块的流程如下：
使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用卷积核大小为1×1的卷积层提取特征→输出预测值；
2倍上采样→通道拼接→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用卷积核大小为1×1的卷积层提升通道数→使用卷积核大小为3×3的深度可分离卷积层提取特征→使用卷积核大小为1×1的卷积层提取特征→输出预测值；
图6所示实施例表明，本发明基于DL-YOLOv3的多阶段草莓果实快速检测方法的自然场景下检测效果图。
本发明方法对草莓果实生长阶段进行划分，包括花蕾到成熟果实的全过程，本说明书中提到草莓果实如没有特殊说明则为广义理解，包含花蕾到成熟果实的不同状态，实现对多种生长阶段草莓果实的检测。
实施例1
本实施例的基于DL-YOLOv3的多阶段草莓果实快速检测方法，具体步骤如下：
第一步，采集自然场景下草莓图像数据并制作数据集：
将草莓果实生长过程划分为成熟果实(mature)、变色期幼果(turning)、膨大期幼果(expanding)、初期幼果(young_fruit)、花朵(flowering)和花蕾(squaring)等六个阶段；
第二步，使用指挥网络提取细节指导特征：
第2.1步，将上述第一步得到的草莓图像作为输入，先用卷积核大小为3×3的深度卷积层将图像大小归一化为608×608像素，然后用卷积核大小为1×1的卷积层进行特征提取，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为3×3的深度可分离卷积层提取G2.1的特征，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝γ3(G2.1) (1)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第2.3步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.3，如下公式(2)所示：
G2.3＝γ3(φ1(G2.2)) (2)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第2.4步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.4，如下公式(3)所示：
G2.4＝γ3(φ1(G2.3)) (3)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.5，如下公式(4)所示：
G2.5＝γ3(φ1(G2.4)) (4)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第三步，使用指挥网络与主干网络相结合的双流网络提取特征：
第3.1步，将特征图G2.1作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.2步中提取的特征G2.2相加，得到特征图G3.1，如下公式(5)所示：
G3.1＝γ3(G2.1)+G2.2 (5)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.2步，构建Drs_2模块并提取特征：将特征图G3.1作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.1相加，得到特征图G3.2.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.2.1相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.2；
第3.3步，将特征图G3.2作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.3步中提取的特征G2.3相加，得到特征图G3.3，如下公式(6)所示：
G3.3＝γ3(G3.2)+G2.3 (6)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.4步，构建Drs_4模块并提取特征：将特征图G3.3作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.3相加，得到特征图G3.4.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.1相加得到特征图G3.4.2，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.2相加得到特征图G3.4.3，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.3相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.4；
第3.5步，将特征图G3.4作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.4步中提取的特征G2.4相加，得到特征图G3.5，如下公式(7)所示：
G3.5＝γ3(G3.4)+G2.4 (7)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.6步，构建Drs_8模块并提取特征：将特征图G3.5作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.5相加，得到特征图G3.6.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.1相加得到特征图G3.6.2，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.2相加得到特征图G3.6.3，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.3相加得到特征图G3.6.4，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.3相加得到特征图G3.6.4，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.4相加得到特征图G3.6.5，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.5相加得到特征图G3.6.6，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.6相加得到特征图G3.6.7，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.7相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.6；
第3.7步，将特征图G3.6作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.5步中提取的特征G2.5相加，得到特征图G3.7，如下公式(8)所示：
G3.7＝γ3(G3.6)+G2.5 (8)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.8步，再次使用Drs_8模块进行特征提取，得到特征图G3.8；
第四步，将上述第3.6步、第3.8步输出的特征图进行两级特征融合：
第4.1步，将第3.6步提取的特征图G3.6作为输入，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到特征图G4.1；
第4.2步，使用卷积核大小为1×1的卷积层提取G4.1的特征，得到特征图G4.2，特征值作为预测值；
第4.3步，将特征图G4.1进行二倍上采样，与第3.8步输出的特征图G3.8进行特征拼接，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提取特征，得到特征图G4.3，特征值作为预测值；
第五步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第4.2步、第4.3步输出的预测值与实际值之间的损失：
第5.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第5.2步，草莓果实生长的6个阶段，分别为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，对应的目标类别标签设置为0、1、2、3、4、5；
第5.3步，计算预测值与实际值之间的损失，包括：
(1)指数增强二值交叉熵EBCE(cls)，表示类别预测值与实际值的损失，如下公式(9)所示:
其中：
为类别预测值，clsij为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数；
(2)均方误差MSE(x)，表示第0、1、2类目标中心点横坐标预测值与实际值的损失，如下公式(10)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(3)均方误差MSE(y)，表示第0、1、2类目标中心点纵坐标预测值与实际值的损失，如下公式(11)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(4)均方误差MSE(w)，表示第0、1、2类目标宽度预测值与实际值的损失，如下公式(12)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(5)均方误差MSE(h)，表示第0、1、2类目标高度预测值与实际值的损失，如下公式(13)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(6)二倍增强均方误差EMSE(x)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失，如下公式(14)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(7)二倍增强均方误差EMSE(y)，表示第3、4、5类目标中心点纵坐标预测值与实际值的损失，如下公式(15)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(8)二倍增强均方误差EMSE(w)，表示第3、4、5类目标宽度预测值与实际值的损失，如下公式(16)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(9)二倍增强均方误差EMSE(h)，表示第3、4、5类目标高度预测值与实际值的损失，如下公式(17)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(10)二值交叉熵BCE(conf)，表示目标置信度预测值与实际值的损失，如下公式(18)所示：
其中：
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数；
(11)最终损失函数如下公式(19)所示：
其中：N为类别编号；
第六步，对模型预测结果进行NMS(Non-Maximum Suppression,非极大值抑制)，生成最终检测结果；
至此，完成了自然场景下基于DL-YOLOv3的多阶段草莓果实快速检测。
具体地，上述基于DL-YOLOv3的多阶段草莓果实快速检测方法，所述第五步中指数增强二值交叉熵的增强指数
为20，S为19。
上述基于DL-YOLOv3的多阶段草莓果实快速检测方法，其中的NMS，全称为Non-Maximum Suppression，中文名为非极大值抑制，为本技术领域公知的算法。
上述基于DL-YOLOv3的多阶段草莓果实快速检测方法，其中的YOLOv3，全称为YouOnly Look Once v3，为本技术领域公知的算法。
图6、图7、图8和图9显示了基于DL-YOLOv3的多阶段草莓果实快速检测方法对自然场景下草莓图像的检测效果。
本发明针对多种生长阶段的草莓果实进行检测，设计指挥网络来改进YOLOv3算法，并引入深度可分离卷积提取特征，去除大尺度检测分支，获得DL-YOLOv3，能实现对不同大小草莓果实的检测；再加上引入指数增强二值交叉熵和二倍增强均方误差来改进YOLOv3算法的损失函数，能够实现不同类别果实不平衡的问题，有助于草莓果实生长全过程的合理管理。
本发明未述及之处适用于现有技术。
Claims (3)
1.一种自然场景下多阶段草莓果实快速检测方法，其特征在于：
第一步，自然环境中拍摄草莓图像数据，按照生长阶段将草莓果实划分为6类：成熟果实、变色期幼果、膨大期幼果、初期幼果、花朵和花蕾；
第二步，使用指挥网络提取细节指导特征：
第2.1步，将上述第一步得到的草莓图像作为输入，首先使用卷积核大小为3×3的深度卷积层将图像大小归一化为608×608像素，然后使用卷积核大小为1×1的卷积层进行特征提取，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为3×3的深度可分离卷积层提取G2.1的特征，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝γ3(G2.1) (1)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第2.3步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.3，如下公式(2)所示：
G2.3＝γ3(φ1(G2.2)) (2)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第2.4步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.4，如下公式(3)所示：
G2.4＝γ3(φ1(G2.3)) (3)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层扩充通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到输出的特征图为G2.5，如下公式(4)所示：
G2.5＝γ3(φ1(G2.4)) (4)
其中：γ3为卷积核大小为3×3的深度可分离卷积层，φ1为卷积核大小为1×1的卷积层；
第三步，使用指挥网络与主干网络相结合的双流网络提取特征：
第3.1步，将特征图G2.1作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.2步中提取的特征G2.2相加，得到特征图G3.1，如下公式(5)所示：
G3.1＝γ3(G2.1)+G2.2 (5)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.2步，构建Drs_2模块并提取特征：将特征图G3.1作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.1相加，得到特征图G3.2.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.2.1相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.2；
第3.3步，将特征图G3.2作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.3步中提取的特征G2.3相加，得到特征图G3.3，如下公式(6)所示：
G3.3＝γ3(G3.2)+G2.3 (6)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.4步，构建Drs_4模块并提取特征：将特征图G3.3作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.3相加，得到特征图G3.4.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.1相加得到特征图G3.4.2，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.2相加得到特征图G3.4.3，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.4.3相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.4；
第3.5步，将特征图G3.4作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.4步中提取的特征G2.4相加，得到特征图G3.5，如下公式(7)所示：
G3.5＝γ3(G3.4)+G2.4 (7)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.6步，构建Drs_8模块并提取特征：将特征图G3.5作为输入特征图，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.5相加，得到特征图G3.6.1，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.1相加得到特征图G3.6.2，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.2相加得到特征图G3.6.3，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.3相加得到特征图G3.6.4，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.3相加得到特征图G3.6.4，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.4相加得到特征图G3.6.5，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.5相加得到特征图G3.6.6，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.6相加得到特征图G3.6.7，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，与G3.6.7相加后使用卷积核大小为1×1的卷积层提取输出特征图G3.6；
第3.7步，将特征图G3.6作为输入特征图，使用卷积核大小为3×3的深度可分离卷积层进行特征降维，然后与第2.5步中提取的特征G2.5相加，得到特征图G3.7，如下公式(8)所示：
G3.7＝γ3(G3.6)+G2.5 (8)
其中：γ3为卷积核大小为3×3的深度可分离卷积层；
第3.8步，再次使用Drs_8模块进行特征提取，得到特征图G3.8；
第四步，将上述第3.6步、第3.8步输出的特征图进行两级特征融合：
第4.1步，将第3.6步提取的特征图G3.6作为输入，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，得到特征图G4.1；
第4.2步，使用卷积核大小为1×1的卷积层提取G4.1的特征，得到特征图G4.2，特征值作为预测值；
第4.3步，将特征图G4.1进行二倍上采样，与第3.8步输出的特征图G3.8进行特征拼接，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提升通道数，使用卷积核大小为3×3的深度可分离卷积层提取特征，使用卷积核大小为1×1的卷积层提取特征，得到特征图G4.3，特征值作为预测值；
第五步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第4.2步、第4.3步输出的预测值与实际值之间的损失；
第六步，对模型预测结果进行NMS，生成最终检测结果；
至此，完成了自然场景下基于DL-YOLOv3的多阶段草莓果实检测。
2.根据权利要求1所述的自然场景下多阶段草莓果实快速检测方法，其特征在于：所述第五步中指数增强二值交叉熵的增强指数
为20，S为19。
3.根据权利要求1所述的自然场景下多阶段草莓果实快速检测方法，其特征在于：所述第六步的NMS，全称为Non-Maximum Suppression，中文名为非极大值抑制，为本技术领域公知的算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110354577.2A CN112926605B (zh) | 2021-04-01 | 2021-04-01 | 一种自然场景下多阶段草莓果实快速检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110354577.2A CN112926605B (zh) | 2021-04-01 | 2021-04-01 | 一种自然场景下多阶段草莓果实快速检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926605A true CN112926605A (zh) | 2021-06-08 |
| CN112926605B CN112926605B (zh) | 2022-07-08 |
Family
ID=76173699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110354577.2A Expired - Fee Related CN112926605B (zh) | 2021-04-01 | 2021-04-01 | 一种自然场景下多阶段草莓果实快速检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926605B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210621A (zh) * | 2019-06-06 | 2019-09-06 | 大连理工大学 | 一种基于残差网络改进的目标检测方法 |
| CN111860693A (zh) * | 2020-07-31 | 2020-10-30 | 元神科技(杭州)有限公司 | 一种轻量级视觉目标检测方法及系统 |
| CN112257794A (zh) * | 2020-10-27 | 2021-01-22 | 东南大学 | 一种基于yolo的轻量级的目标检测方法 |
| CN112348036A (zh) * | 2020-11-26 | 2021-02-09 | 北京工业大学 | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 |
| CN112435236A (zh) * | 2020-11-23 | 2021-03-02 | 河北工业大学 | 一种多阶段草莓果实检测方法 |
| CN112446388A (zh) * | 2020-12-05 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 |
-
2021
- 2021-04-01 CN CN202110354577.2A patent/CN112926605B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210621A (zh) * | 2019-06-06 | 2019-09-06 | 大连理工大学 | 一种基于残差网络改进的目标检测方法 |
| CN111860693A (zh) * | 2020-07-31 | 2020-10-30 | 元神科技(杭州)有限公司 | 一种轻量级视觉目标检测方法及系统 |
| CN112257794A (zh) * | 2020-10-27 | 2021-01-22 | 东南大学 | 一种基于yolo的轻量级的目标检测方法 |
| CN112435236A (zh) * | 2020-11-23 | 2021-03-02 | 河北工业大学 | 一种多阶段草莓果实检测方法 |
| CN112348036A (zh) * | 2020-11-26 | 2021-02-09 | 北京工业大学 | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 |
| CN112446388A (zh) * | 2020-12-05 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| HAOHAO DU等: "An Object Detection Algorithm Based on Improved Network Structure", 《2019 6TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND CONTROL ENGINEERING (ICISCE)》, 30 December 2019 (2019-12-30) * |
| ZHI-FENG XU等: "Light-YOLOv3: fast method for detecting green mangoes in complex scenes using picking robots", 《APPLIED INTELLIGENCE》, 30 July 2020 (2020-07-30) * |
| 武星等: "基于轻量化YOLOv3卷积神经网络的苹果检测方法", 《农业机械学报》, no. 08, 27 May 2020 (2020-05-27) * |
| 邵毅明等: "基于加权密集连接卷积网络的快速交通标志检测", 《交通运输系统工程与信息》, no. 02, 15 April 2020 (2020-04-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926605B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344883A (zh) | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 | |
| Wang et al. | DSE-YOLO: Detail semantics enhancement YOLO for multi-stage strawberry detection | |
| Zheng et al. | Research on tomato detection in natural environment based on RC-YOLOv4 | |
| CN110929643B (zh) | 一种基于多特征和孤立树的高光谱异常检测方法 | |
| CN111062278B (zh) | 基于改进残差网络的异常行为识别方法 | |
| CN112541508A (zh) | 果实分割识别方法及系统、果实采摘机器人 | |
| Chen et al. | An improved Yolov3 based on dual path network for cherry tomatoes detection | |
| CN113252584B (zh) | 基于5g传输的作物生长检测方法及系统 | |
| CN111898419B (zh) | 基于级联深度卷积神经网络的分区滑坡检测系统及方法 | |
| CN109284741A (zh) | 一种基于深度哈希网络的大规模遥感影像检索方法和系统 | |
| Pratama et al. | Deep learning-based object detection for crop monitoring in soybean fields | |
| CN114511636B (zh) | 一种基于双滤注意力模块的果实计数方法及系统 | |
| CN115050014A (zh) | 一种基于图像文本学习的小样本番茄病害识别系统及方法 | |
| Peng et al. | Litchi detection in the field using an improved YOLOv3 model | |
| Zhang et al. | Verification of improved yolox model in detection of greenhouse crop organs: Considering tomato as example | |
| CN114596274A (zh) | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 | |
| CN112926605B (zh) | 一种自然场景下多阶段草莓果实快速检测方法 | |
| Ma et al. | Using an improved lightweight YOLOv8 model for real-time detection of multi-stage apple fruit in complex orchard environments | |
| CN112435236B (zh) | 一种多阶段草莓果实检测方法 | |
| Liu et al. | “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots | |
| Wang et al. | A transformer-based mask R-CNN for tomato detection and segmentation | |
| CN111523503A (zh) | 基于改进ssd算法的苹果目标检测方法 | |
| CN115049920B (zh) | 基于gee结合生育期属性和面向对象的大区域作物提取方法 | |
| Wilms et al. | Localizing small apples in complex apple orchard environments | |
| CN113095279B (zh) | 果树花量智能视觉识别方法、装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220708 |