CN112435236B - 一种多阶段草莓果实检测方法 - Google Patents
一种多阶段草莓果实检测方法 Download PDFInfo
- Publication number
- CN112435236B CN112435236B CN202011322407.8A CN202011322407A CN112435236B CN 112435236 B CN112435236 B CN 112435236B CN 202011322407 A CN202011322407 A CN 202011322407A CN 112435236 B CN112435236 B CN 112435236B
- Authority
- CN
- China
- Prior art keywords
- convolution
- feature map
- layers
- convolution kernel
- strawberry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 128
- 235000016623 Fragaria vesca Nutrition 0.000 title claims abstract description 94
- 235000011363 Fragaria x ananassa Nutrition 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 240000009088 Fragaria x ananassa Species 0.000 title 1
- 241000220223 Fragaria Species 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims 6
- 230000008961 swelling Effects 0.000 claims 2
- 230000003321 amplification Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract 1
- 239000000284 extract Substances 0.000 description 21
- 230000010339 dilation Effects 0.000 description 9
- 238000002845 discoloration Methods 0.000 description 5
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 4
- 235000021012 strawberries Nutrition 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000003102 growth factor Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000003715 nutritional status Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明为一种多阶段草莓果实检测方法，涉及一般的计算机视觉目标检测领域，是从草莓图像中检测出多种生长阶段的草莓果实，步骤是：采集自然场景下草莓图像数据并制作数据集，输入图像，使用特征提取模块提取特征，使用细节语义增强模块提取增强特征，再次使用细节语义模块提取增强特征，使用进一步提取特征模块提取特征，进行多级特征融合，使用增强损失函数计算增强损失，使用NMS非极大值抑制，得到检测结果。本发明方法克服了现有目标检测技术无法适应草莓果实较小、不同类别果实数量不平衡的缺陷，并且能够同时检测多种生长阶段的草莓果实。
Description
技术领域
本发明的技术方案涉及一般的图像数据处理，具体地说是基于DSE-YOLOv3(英文全称Detail Semantic Enhancement–You Only Look Once v3，细节语义增强YOLOv3网络)的多阶段草莓果实检测方法。
背景技术
中国拥有世界上最丰富的草莓资源，年产量超过800万吨，但因其植株和果实较小，传统的人工采摘和生长观测费时费力，人工成本一直在总支出中占较高比例。因此，基于人工智能的农业机器人被引入生产过程执行劳动密集型任务具有重要意义，但由于草莓的生长环境、空间位置、几何形状、大小、颜色等要素的差异，其果实的检测和识别成为了智能农业的重点研究领域。
对多阶段草莓果实进行有效检测，利于预估作物产量、连续监测作物生长和营养状况，能够优化种植管理方案并部分代替人工采摘。但由于不同生长阶段的草莓果实形态、颜色和大小有较大差异，草莓果实较小、不同阶段果实数量不同导致的类别不平衡，给多阶段草莓果实检测任务带来了较大困难。武星等人在“基于轻量化YOLOv3卷积神经网络的苹果检测方法”一文中提出用深度可分离卷积和YOLOv3相结合的网络结构，该方法在13×13和26×26两种尺度下进行检测，无法检测小目标果实。Yang Yu等人在“Fruit detectionfor strawberry harvesting robot in non-structural environment based on Mask-RCNN”一文中提出用Mask-RCNN进行草莓果实检测，使用Resnet50结合特征金字塔网络进行特征提取，利用区域提议网络进行端到端的训练，为每个特征图创建提议区域，该方法处理的草莓果实较大，并没有解决因拍摄距离较远导致难以检测到较小草莓果实的问题。CN111274877A公开了一种基于CNN的草莓果实自动采摘方法，该方法检测草莓果实时，只区分成熟和未成熟果实，而没有进行草莓其他生长阶段(不同生长阶段其果实形态、大小不同)的检测。CN110223349A公开了一种采摘点定位方法，该方法融合密集连接与残差思想的特征提取网络用于改进YOLOv3，果实类别不平衡问题和多种生长阶段的果实检测问题没有得到解决。
发明内容
针对现有技术的不足，本发明所要解决的技术问题是：提出一种基于DSE-YOLOv3的多阶段草莓果实检测方法，该方法设计细节语义增强模块提取增强特征图，获得改进的YOLOv3模型，即DSE-YOLOv3网络，通过多样化特征提取、多尺度目标检测实现了对草莓果实生长全过程的监测。此外本申请的网络结构更能方便地检测到果实较小的草莓(包括花蕾)，通过指数增强二值交叉熵和二倍增强均方误差结合的损失函数来增强模型对类别的关注度，解决了不同阶段果实数量不平衡的问题，并且能够对多阶段的草莓果实进行检测。
本发明解决该技术问题所采用的技术方案是：一种基于DSE-YOLOv3的多阶段草莓果实检测方法，该方法包括以下内容：
采集自然场景下草莓图像数据，草莓图像数据包括草莓果实生长过程中从花蕾到成熟果实的不同生长阶段的图像数据，按照不同生长阶段对数据进行标注，标注后数据经预处理扩充后获得数据集；
构建细节语义增强YOLOv3网络：
细节语义增强YOLOv3网络为在YOLOv3的基础模型进行特征提取后，接入连续的两个细节语义增强模块；所述细节语义增强模块包括卷积核大小为3×3的卷积层、卷积核大小为1×1的卷积层、点卷积层、空洞率分别为1和2的两个3×3大小的空洞卷积层、通道拼接及特征融合、四层交替卷积层，输入特征经一个卷积核大小为3×3的卷积层分成三支，一支进入点卷积层后再分成两条支路，一支经两个卷积核大小不同的卷积层后输出特征图；点卷积层后的一条支路依次经两个不同空洞率的空洞卷积提取语义特征，提取的语义特征与两个卷积核大小不同的卷积层输出的特征图、点卷积层直接输出的细节特征进行通道拼接及特征融合；
将融合后的特征与前面经一个卷积核大小为3×3的卷积层处理后的第三支直接相加，再经过四层交替卷积层进行处理；
将这四层交替卷积层的每一层的输出特征图一起进行通道拼接及特征融合，即获得细节语义增强模块的输出特征图；
将包含不同生长阶段草莓果实的草莓图像输入到细节语义增强YOLOv3网络中，实现草莓果实生长全过程的检测。
具体步骤如下：
第一步，采集自然场景下草莓图像数据并制作数据集：
第1.1步，分别在平行于草莓植株方向和垂直于草莓植株方向拍摄草莓图像；
第1.2步，使用labeling工具标注草莓图像，将草莓果实生长过程划分为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)等六个阶段，对于被严重遮挡的果实，遮挡区域大于85％和边缘区域小于15％的果实不予标注；
第1.3步，利用亮度调整、对比度调整和添加高斯噪声三种方法对所拍摄图像进行数据增广，达到扩充数据集的效果，其中亮度调整为四个等级，系数分别为0.6、0.8、1.2和1.4，对比度调整为两个等级，系数分别为0.8和1.2，高斯噪声均值为0，方差为0.02；
第1.4步，生成数据集；
第二步，提取特征：
第2.1步，将上述第1.4步得到的草莓图像作为输入，首先使用卷积核大小为3×3的卷积层将图像大小归一化为608×608像素，然后使用卷积核大小为3×3的卷积层进行特征降维，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取G2.1的特征，并与G2.1相加，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝φ3(φ1(G2.1))+G2.1 (1)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.3步，使用卷积核大小为3×3的卷积层降低特征图G2.2的特征维度，得到特征图G2.3；
第2.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.3的特征，并与G2.3相加，得到的特征图为G2.4，如下公式(2)所示：
G2.4＝φ3(φ1(G2.3))+G2.3 (2)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.4的特征，并与G2.4相加，得到特征图G2.5，如下公式(3)所示：
G2.5＝φ3(φ1(G2.4))+G2.4 (3)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第三步，使用细节语义增强模块对特征图进行细节语义特征增强：
第3.1步，将特征图G2.5作为细节语义增强模块的输入特征图，使用卷积核大小为3×3的卷积层进行特征降维，得到特征图G3.1；
第3.2步，使用卷积核大小为1×1的卷积层降低特征图G3.1的通道数，然后使用卷积核大小为3×3的卷积层对G3.1进行特征提取，得到特征图Gc，如下公式(4)所示：
Gc＝φ3(φ1(G3.1)) (4)
其中：φ1和φ3分别为卷积核大小分别为1×1和3×3的卷积层；
第3.3步，使用点卷积层提取特征图G3.1的细节增强特征，同时降低通道数，得到细节增强特征图Gp，如下公式(5)所示：
Gp＝φp(G3.1) (5)
其中：φp为点卷积层；
第3.4步，使用空洞率分别为1和2的两个卷积核大小为3×3的空洞卷积层依次提取细节增强特征图Gp的语义增强特征图Gd，如下公式(6)所示：
Gd＝φ3,1(φ3,2(Gp)) (6)
其中：φ3,1和φ3,2分别是空洞率为1和空洞率为2的卷积核大小为3×3的空洞卷积层；
第3.5步，将特征图Gc、细节增强特征图Gp和语义增强特征图Gd进行通道拼接，使用卷积核大小为1×1的卷积层提取拼接后特征图的特征；
第3.6步，将特征图G3.1和第3.5步输出的特征图相加，得到特征图Gpre；
第3.7步，使用4层卷积层提取特征图Gpre的特征，这4层卷积层卷积核大小分别为1×1，3×3，1×1，3×3，并且将这4层卷积层的输出特征图进行通道拼接，使用1×1卷积进行特征融合，得到细节语义增强模块的输出特征图GDS1，如下公式(7)所示：
GDS1＝φ1(concat(φ1(Gpre),φ3(φ1(Gpre)),φ1(φ3(φ1(Gpre))),φ3(φ1(φ3(φ1(Gpre)))))) (7)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层，concat(·)为通道拼接；
第四步，再次使用细节语义增强模块对输出特征图GDS1提取细节语义增强特征，得到输出特征图GDS2；
第五步，进一步提取特征：
第5.1步，使用卷积核大小为3×3的卷积层降低第四步输出特征图GDS2的特征维度，得到特征图G5.1；
第5.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.1的特征，然后与G5.1相加，得到特征图G5.2，如下公式(8)所示：
G5.2＝φ3(φ1(G5.1))+G5.1 (8)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.3步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.2的特征，然后与G5.2相加，得到特征图G5.3，如下公式(9)所示：
G5.3＝φ3(φ1(G5.2))+G5.2 (9)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.3的特征，然后与G5.3相加，得到特征图G5.4，如下公式(10)所示：
G5.4＝φ3(φ1(G5.3))+G5.3 (10)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.4的特征，然后与G5.4相加，得到特征图G5.5，如下公式(11)所示：
G5.5＝φ3(φ1(G5.4))+G5.4 (11)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第六步，将上述第3.7步、第四步和第5.5步输出的特征图进行多级特征融合：
第6.1步，使用5个卷积层提取上述第5.5步输出特征图G5.5的特征，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.1；
第6.2步，使用两个卷积层对特征图G6.1进行特征提取，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.2，特征值作为预测值；
第6.3步，将上述第6.1步输出的特征图G6.1进行2倍上采样，与上述第四步输出的细节语义增强特征图GDS2进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.3；
第6.4步，使用两个卷积层提取特征图G6.3的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.4，特征值作为预测值；
第6.5步，将上述第6.3步输出的特征图G6.3进行2倍上采样，与上述第3.7步输出的细节语义增强特征图GDS1进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.5；
第6.6步，使用两个卷积层提取特征图G6.5的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.6，特征值作为预测值；
第七步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第6.2步、第6.4步和第6.6步输出的预测值与实际值之间的损失：
第7.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第7.2步，草莓果实生长的6个阶段，分别为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，对应的目标类别标签为0、1、2、3、4、5；
第7.3步，计算预测值与实际值之间的损失，包括：
(1)指数增强二值交叉熵EBCE(cls)，表示类别预测值与实际值的损失，如下公式(12)所示:
其中：
为类别预测值，clsij为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数；
(2)均方误差MSE(x)，表示第0、1、2类目标中心点横坐标预测值与实际值的损失，如下公式(13)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(3)均方误差MSE(y)，表示第0、1、2类目标中心点纵坐标预测值与实际值的损失，如下公式(14)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(4)均方误差MSE(w)，表示第0、1、2类目标宽度预测值与实际值的损失，如下公式(15)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(4)均方误差MSE(h)，表示第0、1、2类目标高度预测值与实际值的损失，如下公式(16)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(5)二倍增强均方误差EMSE(x)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失，如下公式(17)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(6)二倍增强均方误差EMSE(y)，表示第3、4、5类目标中心点纵坐标预测值与实际值的损失，如下公式(18)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(7)二倍增强均方误差EMSE(w)，表示第3、4、5类目标宽度预测值与实际值的损失，如下公式(19)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(8)二倍增强均方误差EMSE(h)，表示第3、4、5类目标高度预测值与实际值的损失，如下公式(20)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(9)二值交叉熵BCE(conf)，表示目标置信度预测值与实际值的损失，如下公式(21)所示：
其中：
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数。
(10)最终损失函数如下公式(22)所示：
其中：N为类别编号；
第八步，对模型预测结果进行NMS(Non-Maximum Suppression,非极大值抑制)，生成最终检测结果；
至此，完成了基于DSE-YOLOv3的多阶段草莓果实检测。
具体地，上述基于DSE-YOLOv3的多阶段草莓果实检测方法，所述第七步中指数增强二值交叉熵的增强指数
为20，S为19。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的NMS，全称为Non-Maximum Suppression，中文名为非极大值抑制，为本技术领域公知的算法。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的YOLOv3，全称为YouOnly Look Once v3，为本技术领域公知的算法。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法使用的细节语义增强模块，采用卷积层提取特征图，利用点卷积提取细节增强特征图，利用空洞率分别为1和3的空洞卷积提取语义增强特征图，然后进行通道拼接和1×1卷积得到融合的特征，最后，用卷积核大小为1×1、3×3、1×1、3×3的四个卷积层和通道拼接进行高低层特征融合，能够输出包含更多细节和语义信息的特征图，克服了多阶段草莓果实目标较小的问题。
(2)本发明方法实现了多样化特征提取、多尺度目标检测，适应于草莓果实由花蕾到成熟果实的生长全过程。多样化体现在DSE-YOLOv3通过普通的卷积层、点卷积层和空洞卷积层，分别提取普通的特征、细节特征和语义特征；多尺度目标检测有两层含义，一方面，细节语义增强模块，采用3个尺度进行特征提取，一个是3×3卷积，一个是点卷积，一个是空洞卷积；另一方面，YOLOv3方法采用三个尺度进行大、中、小目标(第6.2步的预测值用于检测大目标，第6.4步的预测值用于检测中等目标，第6.6步的预测值用于检测小目标)的检测。
(3)本发明方法中使用指数增强二值交叉熵和二倍增强均方误差相结合的损失函数来解决不同阶段果实数量不平衡的问题，损失函数使用的指数增强二值交叉熵，与二值交叉熵相比，能够帮助模型更加关注类别信息：
二值交叉熵偏导数如下公式(23)所示：
其中：
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号；
指数增强二值交叉熵偏导数如下公式(24)所示：
其中：
为类别预测值，clskj为类别实际值，S为划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数；
从公式(23)和公式(24)的比较可以看出，指数增强二值交叉熵能够帮助模型更加关注类别信息。
本发明方法中损失函数使用的二倍增强均方误差，与均方误差相比，能够帮助模型更加关注数量较少的膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，有效解决数据类别不平衡问题：
均方误差偏导数如下公式(25)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
二倍增强均方误差偏导数如下公式(26)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
从公式(25)和公式(26)的比较可以看出，二倍增强均方误差能够帮助模型更加关注数量较少的膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，能够有效解决数据类别不平衡问题。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的整体流程图。
图2是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第二步提取特征模块图。
图3是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第三步细节语义增强模块图。
图4是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第五步进一步提取特征模块图。
图5是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第六步多级特征融合模块图。
图6是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第一步采集草莓图像过程中拍摄方向示意图。
图7是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的目标预测框和实际框示意图。
图8是自然场景下草莓图像使用本发明基于DSE-YOLOv3的多阶段草莓果实检测方法检测后的效果图。
具体实施方式
图1所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的整体流程如下：
采集自然场景下草莓图像数据并制作数据集→输入图像→提取特征→提取细节语义增强特征→提取细节语义增强特征→进一步提取特征→多级特征融合→计算损失→NMS非极大值抑制→得到检测结果。
图2所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的提取特征模块流程如下：
使用卷积核大小为3×3的卷积层归一化图像大小→使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构。
图3所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的细节语义增强模块的流程如下：
输入特征图→使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数量→使用卷积核大小为3×3的卷积层提取一般特征图→使用点卷积提取细节增强特征图→使用空洞率为1的3×3空洞卷积提取语义增强特征图→使用空洞率为2的3×3空洞卷积提取语义增强特征图→将特征图、细节增强特征图和语义增强特征图进行通道拼接→使用卷积核大小为1×1的卷积层进行特征融合→使用残差模块→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→将特征图进行通道拼接→使用卷积核大小为1×1的卷积层特征融合→得到输出增强特征图。
图4所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的进一步提取特征模块的流程如下：
使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构。
图5所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的多级特征融合模块的流程如下：
使用5个卷积层提取特征→使用两个卷积层提取特征→输出预测值；
使用5个卷积层提取特征→2倍上采样→通道拼接→使用5个卷积层提取特征→使用两个卷积层提取特征→输出预测值；
使用5个卷积层提取特征→2倍上采样→通道拼接→使用5个卷积层提取特征→2倍上采样→通道拼接→使用5个卷积层提取特征→使用两个卷积层提取特征→输出预测值。
图6所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的采集数据过程中，拍摄方向为垂直于草莓植株方向和平行于草莓植株方向。
图7所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的目标预测框和实际框示意图，其中实线框为预测框，虚线框为实际框。
图8所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的自然场景下检测效果图。
本发明方法对草莓果实生长阶段进行划分，包括花蕾到成熟果实的全过程，本说明书中提到草莓果实如没有特殊说明则为广义理解，包含花蕾到成熟果实的不同状态，实现对多种生长阶段草莓果实的检测。
实施例1
本实施例的基于DSE-YOLOv3的多阶段草莓果实检测方法，具体步骤如下：
第一步，采集自然场景下草莓图像数据并制作数据集：
第1.1步，分别在平行于草莓植株方向和垂直于草莓植株方向拍摄草莓图像；
第1.2步，使用labeling工具标注草莓图像，将草莓果实生长过程划分为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)等六个阶段，对于被严重遮挡的果实，遮挡区域大于85％和边缘区域小于15％的果实不予标注；
第1.3步，利用亮度调整、对比度调整和添加高斯噪声三种方法对所拍摄图像进行数据增广，达到扩充数据集的效果，其中亮度调整为四个等级，系数分别为0.6、0.8、1.2和1.4，对比度调整为两个等级，系数分别为0.8和1.2，高斯噪声均值为0，方差为0.02；
第1.4步，生成数据集；
第二步，提取特征：
第2.1步，将上述第1.4步得到的草莓图像作为输入，首先使用卷积核大小为3×3的卷积层将图像大小归一化为608×608像素，然后使用卷积核大小为3×3的卷积层进行特征降维，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取G2.1的特征，并与G2.1相加，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝φ3(φ1(G2.1))+G2.1 (1)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.3步，使用卷积核大小为3×3的卷积层降低特征图G2.2的特征维度，得到特征图G2.3；
第2.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.3的特征，并与G2.3相加，得到的特征图为G2.4，如下公式(2)所示：
G2.4＝φ3(φ1(G2.3))+G2.3 (2)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.4的特征，并与G2.4相加，得到特征图G2.5，如下公式(3)所示：
G2.5＝φ3(φ1(G2.4))+G2.4 (3)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第三步，对特征图进行细节语义特征增强：
第3.1步，将特征图G2.5作为细节语义增强模块的输入特征图，使用卷积核大小为3×3的卷积层进行特征降维，得到特征图G3.1；
第3.2步，使用卷积核大小为1×1的卷积层降低特征图G3.1的通道数，然后使用卷积核大小为3×3的卷积层对G3.1进行特征提取，得到特征图Gc，如下公式(4)所示：
Gc＝φ3(φ1(G3.1)) (4)
其中：φ1和φ3分别为卷积核大小分别为1×1和3×3的卷积层；
第3.3步，使用点卷积层提取特征图G3.1的细节增强特征，同时降低通道数，得到细节增强特征图Gp，如下公式(5)所示：
Gp＝φp(G3.1) (5)
其中：φp为点卷积层；
第3.4步，使用空洞率分别为1和2的两个卷积核大小为3×3的空洞卷积层依次提取细节增强特征图Gp的语义增强特征图Gd，如下公式(6)所示：
Gd＝φ3,1(φ3,2(Gp)) (6)
其中：φ3,1和φ3,2分别是空洞率为1和空洞率为2的卷积核大小为3×3的空洞卷积层；
第3.5步，将特征图Gc、细节增强特征图Gp和语义增强特征图Gd进行通道拼接，使用卷积核大小为1×1的卷积层提取拼接后特征图的特征；
第3.6步，将特征图G3.1和第3.5步输出的特征图相加，得到特征图Gpre；
第3.7步，使用4层卷积层提取特征图Gpre的特征，这4层卷积层卷积核大小分别为1×1，3×3，1×1，3×3，并且将这4层卷积层的输出特征图进行通道拼接，使用1×1卷积进行特征融合，得到细节语义增强模块的输出特征图GDS1，如下公式(7)所示：
GDS1＝φ1(concat(φ1(Gpre),φ3(φ1(Gpre)),φ1(φ3(φ1(Gpre))),φ3(φ1(φ3(φ1(Gpre)))))) (7)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层，concat(·)为通道拼接；
第四步，再次使用细节语义增强模块提取细节语义增强特征，得到细节语义增强模块的输出特征图GDS2；
第五步，进一步提取特征：
第5.1步，使用卷积核大小为3×3的卷积层降低第四步输出特征图GDS2的特征维度，得到特征图G5.1；
第5.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.1的特征，然后与G5.1相加，得到特征图G5.2，如下公式(8)所示：
G5.2＝φ3(φ1(G5.1))+G5.1 (8)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.3步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.2的特征，然后与G5.2相加，得到特征图G5.3，如下公式(9)所示：
G5.3＝φ3(φ1(G5.2))+G5.2 (9)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.3的特征，然后与G5.3相加，得到特征图G5.4，如下公式(10)所示：
G5.4＝φ3(φ1(G5.3))+G5.3 (10)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.4的特征，然后与G5.4相加，得到特征图G5.5，如下公式(11)所示：
G5.5＝φ3(φ1(G5.4))+G5.4 (11)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第六步，将上述第3.7步、第四步和第5.5步输出的特征图进行多级特征融合：
第6.1步，使用5个卷积层提取上述第5.5步输出特征图G5.5的特征，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.1；
第6.2步，使用两个卷积层对特征图G6.1进行特征提取，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.2，特征值作为预测值；
第6.3步，将上述第6.1步输出的特征图G6.1进行2倍上采样，与上述第四步输出的细节语义增强特征图GDS2进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.3；
第6.4步，使用两个卷积层提取特征图G6.3的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.4，特征值作为预测值；
第6.5步，将上述第6.3步输出的特征图G6.3进行2倍上采样，与上述第3.7步输出的细节语义增强特征图GDS进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.5；
第6.6步，使用两个卷积层提取特征图G6.5的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.6，特征值作为预测值；
上述卷积层的步长都为1；
第七步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第6.2步、第6.4步和第6.6步输出的预测值与实际值之间的损失：
第7.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第7.2步，草莓果实生长的6个阶段，分别为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，对应的目标类别标签为0、1、2、3、4、5；
第7.3步，计算预测值与实际值之间的损失，包括：
(1)指数增强二值交叉熵EBCE(cls)，表示类别预测值与实际值的损失，如下公式(12)所示:
其中：
为类别预测值，clskj为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数；
(2)均方误差MSE(x)，表示第0、1、2类目标中心点横坐标预测值与实际值的损失，如下公式(13)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(3)均方误差MSE(y)，表示第0、1、2类目标中心点纵坐标预测值与实际值的损失，如下公式(14)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(4)均方误差MSE(w)，表示第0、1、2类目标宽度预测值与实际值的损失，如下公式(15)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(4)均方误差MSE(h)，表示第0、1、2类目标高度预测值与实际值的损失，如下公式(16)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(5)二倍增强均方误差EMSE(x)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失，如下公式(17)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标；
(6)二倍增强均方误差EMSE(y)，表示第3、4、5类目标中心点纵坐标预测值与实际值的损失，如下公式(18)所示：
其中：M为被判别为该类别的预测框，
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(7)二倍增强均方误差EMSE(w)，表示第3、4、5类目标宽度预测值与实际值的损失，如下公式(19)所示：
其中：M为被判别为该类别的预测框，
为预测框宽度，wi为实际框宽度；
(8)二倍增强均方误差EMSE(h)，表示第3、4、5类目标高度预测值与实际值的损失，如下公式(20)所示：
其中：M为被判别为该类别的预测框，
为预测框高度，hi为实际框高度；
(9)二值交叉熵BCE(conf)，表示目标置信度预测值与实际值的损失，如下公式(21)所示：
其中：
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号；
(10)最终损失函数如下公式(22)所示：
其中：N为类别编号；
第八步，对模型预测结果进行NMS(Non-Maximum Suppression,非极大值抑制)，生成最终检测结果；
至此，完成了基于DSE-YOLOv3的多阶段草莓果实检测。
具体地，上述基于DSE-YOLOv3的多阶段草莓果实检测方法，所述第七步中指数增强二值交叉熵的增强指数
为20，S为19。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的NMS，全称为Non-Maximum Suppression，中文名为非极大值抑制，为本技术领域公知的算法。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的YOLOv3，全称为YouOnly Look Once v3，为本技术领域公知的算法。
图8显示了基于DSE-YOLOv3的多阶段草莓果实检测方法对真实场景下草莓图像的检测效果。
本发明针对多种生长阶段的草莓果实进行检测，设计的细节语义增强模块来改进YOLOv3算法，获得DSE-YOLOv3，能实现对不同大小草莓果实的检测；再加上引入指数增强二值交叉熵和二倍增强均方误差来改进YOLOv3算法的损失函数，能够实现不同类别果实不平衡的问题，有助于草莓果实生长全过程的合理管理。
本发明未述及之处适用于现有技术。
Claims (6)
1.一种多阶段草莓果实检测方法，该方法包括以下内容：
采集自然场景下草莓图像数据，草莓图像数据包括草莓果实生长过程中从花蕾到成熟果实的不同生长阶段的图像数据，按照不同生长阶段对数据进行标注，标注后数据经预处理扩充后获得数据集；
构建细节语义增强YOLOv3网络：
细节语义增强YOLOv3网络为在YOLOv3的基础模型进行特征提取后，接入连续的两个细节语义增强模块；所述细节语义增强模块包括卷积核大小为3×3的卷积层、卷积核大小为1×1的卷积层、点卷积层、空洞率分别为1和2的两个3×3大小的空洞卷积层、通道拼接及特征融合、四层交替卷积层，输入特征经一个卷积核大小为3×3的卷积层分成三支，一支进入点卷积层后再分成两条支路，一支经两个卷积核大小不同的卷积层后输出特征图；点卷积层后的一条支路依次经两个不同空洞率的空洞卷积提取语义特征，提取的语义特征与两个卷积核大小不同的卷积层输出的特征图、点卷积层直接输出的细节特征进行通道拼接及特征融合；
将融合后的特征与前面经一个卷积核大小为3×3的卷积层处理后的第三支直接相加，再经过四层交替卷积层进行处理；
将这四层交替卷积层的每一层的输出特征图一起进行通道拼接及特征融合，即获得细节语义增强模块的输出特征图；
将不同生长阶段的图像数据输入到细节语义增强YOLOv3网络中，实现草莓果实生长全过程的检测。
2.根据权利要求1所述的检测方法，其特征在于，细节语义增强YOLOv3网络的损失函数losstotal为公式(22)：
其中：N为类别编号，即所划分的生长阶段的数量，i＝0、1、2、3、4、5，分别代表花蕾、花朵、初期幼果、膨大期幼果、变色期幼果、成熟果实六个生长阶段；MSE(·)为均方误差，xi为实际框中心点横坐标，yi为实际框中心点纵坐标，wi为实际框宽度，hi为实际框高度；EMSE(·)为二倍增强均方误差，BCE(conf)为二值交叉熵，EBCE(cls)为指数增强二值交叉熵，
指数增强二值交叉熵表示类别预测值与实际值的损失，用公式(12)表示:
其中：
为类别预测值，clskj为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
为增强指数。
3.根据权利要求2所述的检测方法，其特征在于，所述二倍增强均方误差EMSE(xi)的表达式为公式(17)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失：
其中：M为被判别为该类别的预测框，
为预测框中心点横坐标，xi为实际框中心点横坐标。
4.根据权利要求2所述的检测方法，其特征在于，所述指数增强二值交叉熵的增强指数
为20，S为19。
5.根据权利要求1所述的检测方法，其特征在于，数据集的制作过程是：
第1.1步，分别在平行于草莓植株方向和垂直于草莓植株方向拍摄草莓图像；
第1.2步，使用labeling工具标注草莓图像，将草莓果实生长过程划分为花蕾、花朵、初期幼果、膨大期幼果、变色期幼果和成熟果实六个阶段，对于被严重遮挡的果实，遮挡区域大于85％和边缘区域小于15％的果实不予标注；
第1.3步，利用亮度调整、对比度调整和添加高斯噪声三种方法对所拍摄图像进行数据增广，达到扩充数据集的效果，其中亮度调整为四个等级，系数分别为0.6、0.8、1.2和1.4，对比度调整为两个等级，系数分别为0.8和1.2，高斯噪声均值为0，方差为0.02。
6.一种多阶段草莓果实检测方法，其特征在于：
第一步，采集自然场景下包含不同生长阶段草莓果实的草莓图像数据并制作数据集；
第二步，提取特征：
第2.1步，将数据集中包含不同生长阶段草莓果实的草莓图像作为输入，首先使用卷积核大小为3×3的卷积层将图像大小归一化为608×608像素，然后使用卷积核大小为3×3的卷积层进行特征降维，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取G2.1的特征，将提取后的特征与G2.1相加，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝φ3(φ1(G2.1))+G2.1 (1)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.3步，使用卷积核大小为3×3的卷积层降低特征图G2.2的特征维度，得到特征图G2.3；
第2.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.3的特征，将提取后特征与G2.3相加，得到的特征图为G2.4，如下公式(2)所示：
G2.4＝φ3(φ1(G2.3))+G2.3 (2)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.4的特征，将提取后的特征与G2.4相加，得到特征图G2.5，如下公式(3)所示：
G2.5＝φ3(φ1(G2.4))+G2.4 (3)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第三步，使用细节语义增强模块对特征图进行细节语义特征增强：
第3.1步，将特征图G2.5作为细节语义增强模块的输入特征图，使用卷积核大小为3×3的卷积层进行特征降维，得到特征图G3.1；
第3.2步，使用卷积核大小为1×1的卷积层降低特征图G3.1的通道数，然后使用卷积核大小为3×3的卷积层对G3.1进行特征提取，得到特征图Gc，如下公式(4)所示：
Gc＝φ3(φ1(G3.1)) (4)
其中：φ1和φ3分别为卷积核大小分别为1×1和3×3的卷积层；
第3.3步，使用点卷积层提取特征图G3.1的细节增强特征，同时降低通道数，得到细节增强特征图Gp，如下公式(5)所示：
Gp＝φp(G3.1) (5)
其中：φp为点卷积层；
第3.4步，使用空洞率分别为1和2的两个卷积核大小为3×3的空洞卷积层依次提取细节增强特征图Gp的语义增强特征图Gd，如下公式(6)所示：
Gd＝φ3,1(φ3,2(Gp)) (6)
其中：φ3,1和φ3,2分别是空洞率为1和空洞率为2的卷积核大小为3×3的空洞卷积层；
第3.5步，将特征图Gc、细节增强特征图Gp和语义增强特征图Gd进行通道拼接，使用卷积核大小为1×1的卷积层提取拼接后特征图的特征；
第3.6步，将特征图G3.1和第3.5步输出的特征图相加，得到特征图Gpre；
第3.7步，使用4层卷积层提取特征图Gpre的特征，这4层卷积层卷积核大小分别为1×1，3×3，1×1，3×3，并且将这4层卷积层的输出特征图进行通道拼接，使用1×1卷积进行特征融合，得到细节语义增强模块的输出特征图GDS1，如下公式(7)所示：
GDS1＝φ1(concat(φ1(Gpre),φ3(φ1(Gpre)),φ1(φ3(φ1(Gpre))),φ3(φ1(φ3(φ1(Gpre)))))) (7)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层，concat(·)为通道拼接；
第四步，第三步获得的细节语义增强模块的输出特征图GDS1再次使用细节语义增强模块提取输出细节语义增强特征，得到输出特征图GDS2；
第五步，进一步提取特征：
第5.1步，使用卷积核大小为3×3的卷积层降低第四步输出特征图GDS2的特征维度，得到特征图G5.1；
第5.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.1的特征，然后与G5.1相加，得到特征图G5.2，如下公式(8)所示：
G5.2＝φ3(φ1(G5.1))+G5.1 (8)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.3步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.2的特征，然后与G5.2相加，得到特征图G5.3，如下公式(9)所示：
G5.3＝φ3(φ1(G5.2))+G5.2 (9)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.3的特征，然后与G5.3相加，得到特征图G5.4，如下公式(10)所示：
G5.4＝φ3(φ1(G5.3))+G5.3 (10)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.4的特征，然后与G5.4相加，得到特征图G5.5，如下公式(11)所示：
G5.5＝φ3(φ1(G5.4))+G5.4 (11)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第六步，将上述第3.7步、第四步和第5.5步输出的特征图进行多级特征融合：
第6.1步，使用5个卷积层提取上述第5.5步输出特征图G5.5的特征，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.1；
第6.2步，使用两个卷积层对特征图G6.1进行特征提取，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.2，特征值作为预测值；
第6.3步，将上述第6.1步输出的特征图G6.1进行2倍上采样，与上述第四步输出的细节语义增强特征图GDS2进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.3；
第6.4步，使用两个卷积层提取特征图G6.3的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.4，特征值作为预测值；
第6.5步，将上述第6.3步输出的特征图G6.3进行2倍上采样，与上述第3.7步输出的细节语义增强特征图GDS1进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.5；
第6.6步，使用两个卷积层提取特征图G6.5的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.6，特征值作为预测值；
第七步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第6.2步、第6.4步和第6.6步输出的预测值与实际值之间的损失：
第7.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第7.2步，草莓果实生长的6个阶段，分别为花蕾、花朵、初期幼果、膨大期幼果、变色期幼果和成熟果实，对应的目标类别标签为0、1、2、3、4、5；
第7.3步，利用公式(22)计算预测值与实际值之间的损失：
其中：N为类别编号；MSE(·)为均方误差，xi为实际框中心点横坐标，yi为实际框中心点纵坐标，wi为实际框宽度，hi为实际框高度；EMSE(·)为二倍增强均方误差，BCE(conf)为二值交叉熵，EBCE(cls)为指数增强二值交叉熵，losstotal为总损失函数；
第八步，对模型预测结果进行非极大值抑制NMS，生成最终检测结果；
至此，完成了基于DSE-YOLOv3的多阶段草莓果实检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011322407.8A CN112435236B (zh) | 2020-11-23 | 2020-11-23 | 一种多阶段草莓果实检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011322407.8A CN112435236B (zh) | 2020-11-23 | 2020-11-23 | 一种多阶段草莓果实检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112435236A CN112435236A (zh) | 2021-03-02 |
| CN112435236B true CN112435236B (zh) | 2022-08-16 |
Family
ID=74692977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011322407.8A Active CN112435236B (zh) | 2020-11-23 | 2020-11-23 | 一种多阶段草莓果实检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435236B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112926605B (zh) * | 2021-04-01 | 2022-07-08 | 天津商业大学 | 一种自然场景下多阶段草莓果实快速检测方法 |
| CN114757875B (zh) * | 2022-03-08 | 2024-10-22 | 深圳须弥云图空间科技有限公司 | 一种金属裂纹检测方法、装置、电子设备及存储介质 |
| CN114677672A (zh) * | 2022-03-27 | 2022-06-28 | 河南科技大学 | 一种基于深度学习神经网络的成熟蓝莓果实识别方法 |
| CN114724140A (zh) * | 2022-04-06 | 2022-07-08 | 中科合肥智慧农业协同创新研究院 | 一种基于yolo v3的草莓成熟度检测方法、装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN110490298A (zh) * | 2019-07-25 | 2019-11-22 | 西安理工大学 | 基于膨胀卷积的轻量化深度卷积神经网络模型 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111127499A (zh) * | 2019-12-20 | 2020-05-08 | 北京工业大学 | 一种基于语义轮廓信息的安检图像刀具检测分割方法 |
| CN111476252A (zh) * | 2020-04-03 | 2020-07-31 | 南京邮电大学 | 一种面向计算机视觉应用的轻量化无锚框目标检测方法 |
-
2020
- 2020-11-23 CN CN202011322407.8A patent/CN112435236B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN110490298A (zh) * | 2019-07-25 | 2019-11-22 | 西安理工大学 | 基于膨胀卷积的轻量化深度卷积神经网络模型 |
| CN110796037A (zh) * | 2019-10-15 | 2020-02-14 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111127499A (zh) * | 2019-12-20 | 2020-05-08 | 北京工业大学 | 一种基于语义轮廓信息的安检图像刀具检测分割方法 |
| CN111476252A (zh) * | 2020-04-03 | 2020-07-31 | 南京邮电大学 | 一种面向计算机视觉应用的轻量化无锚框目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Apple detection during different growth stages in orchards using the improved YOLO-V3 model;Yunong Tian等;《Computers and Electronics in Agriculture》;20190119;全文 * |
| 基于YOLOv3的船舶实时监测识别;屈雯怡;《计算机与现代化》;20200315(第03期);全文 * |
| 基于深度学习的实时人流统计方法研究;赵朵朵等;《传感技术学报》;20200815(第08期);全文 * |
| 面向移动端的单阶段端到端目标检测压缩算法;童鸣等;《信号处理》;20191225(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112435236A (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112435236B (zh) | 一种多阶段草莓果实检测方法 | |
| Wang et al. | DSE-YOLO: Detail semantics enhancement YOLO for multi-stage strawberry detection | |
| Liu et al. | Tomato diseases and pests detection based on improved Yolo V3 convolutional neural network | |
| Chen et al. | Weed detection in sesame fields using a YOLO model with an enhanced attention mechanism and feature fusion | |
| CN110222215B (zh) | 一种基于f-ssd-iv3的作物害虫检测方法 | |
| Liu et al. | Deep learning based research on quality classification of shiitake mushrooms | |
| Ma et al. | Automatic branch detection of jujube trees based on 3D reconstruction for dormant pruning using the deep learning-based method | |
| CN105718945A (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| Wang et al. | Diseases detection of occlusion and overlapping tomato leaves based on deep learning | |
| Sun et al. | YOLO-P: An efficient method for pear fast detection in complex orchard picking environment | |
| CN113902901B (zh) | 一种基于轻量化检测的物体分离方法与系统 | |
| CN111507967B (zh) | 一种自然果园场景下的芒果高精度检测方法 | |
| CN113837039A (zh) | 一种基于卷积神经网络的果实生长形态视觉辨识方法 | |
| Peng et al. | Litchi detection in the field using an improved YOLOv3 model | |
| CN114612760A (zh) | 一种遮挡环境下的果实检测方法及系统 | |
| Li et al. | An efficient detection method for litchi fruits in a natural environment based on improved YOLOv7-Litchi | |
| Yu et al. | A lightweight SOD-YOLOv5n model-based winter jujube detection and counting method deployed on Android | |
| CN114549494A (zh) | 一种温室生产环境下草莓白粉病快速检测方法 | |
| CN114862596A (zh) | 农作物银行贷款数据风险分析方法及装置 | |
| Tian et al. | Lightweight detection method for real-time monitoring tomato growth based on improved YOLOv5s | |
| CN113989671A (zh) | 基于语义感知与动态图卷积的遥感场景分类方法及系统 | |
| CN118072302A (zh) | 一种面向非结构环境中多熟度大柑橘的检测方法及系统 | |
| CN111461085A (zh) | 一种基于权值共享和上下特征融合的原木检测方法 | |
| CN113902904B (zh) | 一种轻量化网络架构系统 | |
| CN116740337A (zh) | 一种红花采摘点识别定位方法及采摘系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |