CN112435236B - 一种多阶段草莓果实检测方法 - Google Patents

一种多阶段草莓果实检测方法 Download PDF

Info

Publication number
CN112435236B
CN112435236B CN202011322407.8A CN202011322407A CN112435236B CN 112435236 B CN112435236 B CN 112435236B CN 202011322407 A CN202011322407 A CN 202011322407A CN 112435236 B CN112435236 B CN 112435236B
Authority
CN
China
Prior art keywords
convolution
feature map
layers
convolution kernel
strawberry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011322407.8A
Other languages
English (en)
Other versions
CN112435236A (zh
Inventor
阎刚
孟庆鲁
王岩
王建春
李扬
王梓晋
李佳扬
于洋
李凤菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Research Institute Of Tianjin Academy Of Agricultural Sciences
Hebei University of Technology
Tianjin University of Commerce
Original Assignee
Information Research Institute Of Tianjin Academy Of Agricultural Sciences
Hebei University of Technology
Tianjin University of Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Research Institute Of Tianjin Academy Of Agricultural Sciences, Hebei University of Technology, Tianjin University of Commerce filed Critical Information Research Institute Of Tianjin Academy Of Agricultural Sciences
Priority to CN202011322407.8A priority Critical patent/CN112435236B/zh
Publication of CN112435236A publication Critical patent/CN112435236A/zh
Application granted granted Critical
Publication of CN112435236B publication Critical patent/CN112435236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种多阶段草莓果实检测方法，涉及一般的计算机视觉目标检测领域，是从草莓图像中检测出多种生长阶段的草莓果实，步骤是：采集自然场景下草莓图像数据并制作数据集，输入图像，使用特征提取模块提取特征，使用细节语义增强模块提取增强特征，再次使用细节语义模块提取增强特征，使用进一步提取特征模块提取特征，进行多级特征融合，使用增强损失函数计算增强损失，使用NMS非极大值抑制，得到检测结果。本发明方法克服了现有目标检测技术无法适应草莓果实较小、不同类别果实数量不平衡的缺陷，并且能够同时检测多种生长阶段的草莓果实。

Description

一种多阶段草莓果实检测方法
技术领域
本发明的技术方案涉及一般的图像数据处理，具体地说是基于DSE-YOLOv3(英文全称Detail Semantic Enhancement–You Only Look Once v3，细节语义增强YOLOv3网络)的多阶段草莓果实检测方法。
背景技术
中国拥有世界上最丰富的草莓资源，年产量超过800万吨，但因其植株和果实较小，传统的人工采摘和生长观测费时费力，人工成本一直在总支出中占较高比例。因此，基于人工智能的农业机器人被引入生产过程执行劳动密集型任务具有重要意义，但由于草莓的生长环境、空间位置、几何形状、大小、颜色等要素的差异，其果实的检测和识别成为了智能农业的重点研究领域。
对多阶段草莓果实进行有效检测，利于预估作物产量、连续监测作物生长和营养状况，能够优化种植管理方案并部分代替人工采摘。但由于不同生长阶段的草莓果实形态、颜色和大小有较大差异，草莓果实较小、不同阶段果实数量不同导致的类别不平衡，给多阶段草莓果实检测任务带来了较大困难。武星等人在“基于轻量化YOLOv3卷积神经网络的苹果检测方法”一文中提出用深度可分离卷积和YOLOv3相结合的网络结构，该方法在13×13和26×26两种尺度下进行检测，无法检测小目标果实。Yang Yu等人在“Fruit detectionfor strawberry harvesting robot in non-structural environment based on Mask-RCNN”一文中提出用Mask-RCNN进行草莓果实检测，使用Resnet50结合特征金字塔网络进行特征提取，利用区域提议网络进行端到端的训练，为每个特征图创建提议区域，该方法处理的草莓果实较大，并没有解决因拍摄距离较远导致难以检测到较小草莓果实的问题。CN111274877A公开了一种基于CNN的草莓果实自动采摘方法，该方法检测草莓果实时，只区分成熟和未成熟果实，而没有进行草莓其他生长阶段(不同生长阶段其果实形态、大小不同)的检测。CN110223349A公开了一种采摘点定位方法，该方法融合密集连接与残差思想的特征提取网络用于改进YOLOv3，果实类别不平衡问题和多种生长阶段的果实检测问题没有得到解决。
发明内容
针对现有技术的不足，本发明所要解决的技术问题是：提出一种基于DSE-YOLOv3的多阶段草莓果实检测方法，该方法设计细节语义增强模块提取增强特征图，获得改进的YOLOv3模型，即DSE-YOLOv3网络，通过多样化特征提取、多尺度目标检测实现了对草莓果实生长全过程的监测。此外本申请的网络结构更能方便地检测到果实较小的草莓(包括花蕾)，通过指数增强二值交叉熵和二倍增强均方误差结合的损失函数来增强模型对类别的关注度，解决了不同阶段果实数量不平衡的问题，并且能够对多阶段的草莓果实进行检测。
本发明解决该技术问题所采用的技术方案是：一种基于DSE-YOLOv3的多阶段草莓果实检测方法，该方法包括以下内容：
采集自然场景下草莓图像数据，草莓图像数据包括草莓果实生长过程中从花蕾到成熟果实的不同生长阶段的图像数据，按照不同生长阶段对数据进行标注，标注后数据经预处理扩充后获得数据集；
构建细节语义增强YOLOv3网络：
细节语义增强YOLOv3网络为在YOLOv3的基础模型进行特征提取后，接入连续的两个细节语义增强模块；所述细节语义增强模块包括卷积核大小为3×3的卷积层、卷积核大小为1×1的卷积层、点卷积层、空洞率分别为1和2的两个3×3大小的空洞卷积层、通道拼接及特征融合、四层交替卷积层，输入特征经一个卷积核大小为3×3的卷积层分成三支，一支进入点卷积层后再分成两条支路，一支经两个卷积核大小不同的卷积层后输出特征图；点卷积层后的一条支路依次经两个不同空洞率的空洞卷积提取语义特征，提取的语义特征与两个卷积核大小不同的卷积层输出的特征图、点卷积层直接输出的细节特征进行通道拼接及特征融合；
将融合后的特征与前面经一个卷积核大小为3×3的卷积层处理后的第三支直接相加，再经过四层交替卷积层进行处理；
将这四层交替卷积层的每一层的输出特征图一起进行通道拼接及特征融合，即获得细节语义增强模块的输出特征图；
将包含不同生长阶段草莓果实的草莓图像输入到细节语义增强YOLOv3网络中，实现草莓果实生长全过程的检测。
具体步骤如下：
第一步，采集自然场景下草莓图像数据并制作数据集：
第1.1步，分别在平行于草莓植株方向和垂直于草莓植株方向拍摄草莓图像；
第1.2步，使用labeling工具标注草莓图像，将草莓果实生长过程划分为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)等六个阶段，对于被严重遮挡的果实，遮挡区域大于85％和边缘区域小于15％的果实不予标注；
第1.3步，利用亮度调整、对比度调整和添加高斯噪声三种方法对所拍摄图像进行数据增广，达到扩充数据集的效果，其中亮度调整为四个等级，系数分别为0.6、0.8、1.2和1.4，对比度调整为两个等级，系数分别为0.8和1.2，高斯噪声均值为0，方差为0.02；
第1.4步，生成数据集；
第二步，提取特征：
第2.1步，将上述第1.4步得到的草莓图像作为输入，首先使用卷积核大小为3×3的卷积层将图像大小归一化为608×608像素，然后使用卷积核大小为3×3的卷积层进行特征降维，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取G2.1的特征，并与G2.1相加，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝φ3(φ1(G2.1))+G2.1 (1)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.3步，使用卷积核大小为3×3的卷积层降低特征图G2.2的特征维度，得到特征图G2.3；
第2.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.3的特征，并与G2.3相加，得到的特征图为G2.4，如下公式(2)所示：
G2.4＝φ3(φ1(G2.3))+G2.3 (2)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.4的特征，并与G2.4相加，得到特征图G2.5，如下公式(3)所示：
G2.5＝φ3(φ1(G2.4))+G2.4 (3)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第三步，使用细节语义增强模块对特征图进行细节语义特征增强：
第3.1步，将特征图G2.5作为细节语义增强模块的输入特征图，使用卷积核大小为3×3的卷积层进行特征降维，得到特征图G3.1；
第3.2步，使用卷积核大小为1×1的卷积层降低特征图G3.1的通道数，然后使用卷积核大小为3×3的卷积层对G3.1进行特征提取，得到特征图Gc，如下公式(4)所示：
Gc＝φ3(φ1(G3.1)) (4)
其中：φ1和φ3分别为卷积核大小分别为1×1和3×3的卷积层；
第3.3步，使用点卷积层提取特征图G3.1的细节增强特征，同时降低通道数，得到细节增强特征图Gp，如下公式(5)所示：
Gp＝φp(G3.1) (5)
其中：φp为点卷积层；
第3.4步，使用空洞率分别为1和2的两个卷积核大小为3×3的空洞卷积层依次提取细节增强特征图Gp的语义增强特征图Gd，如下公式(6)所示：
Gd＝φ3,1(φ3,2(Gp)) (6)
其中：φ3,1和φ3,2分别是空洞率为1和空洞率为2的卷积核大小为3×3的空洞卷积层；
第3.5步，将特征图Gc、细节增强特征图Gp和语义增强特征图Gd进行通道拼接，使用卷积核大小为1×1的卷积层提取拼接后特征图的特征；
第3.6步，将特征图G3.1和第3.5步输出的特征图相加，得到特征图Gpre；
第3.7步，使用4层卷积层提取特征图Gpre的特征，这4层卷积层卷积核大小分别为1×1，3×3，1×1，3×3，并且将这4层卷积层的输出特征图进行通道拼接，使用1×1卷积进行特征融合，得到细节语义增强模块的输出特征图GDS1，如下公式(7)所示：
GDS1＝φ1(concat(φ1(Gpre),φ3(φ1(Gpre)),φ1(φ3(φ1(Gpre))),φ3(φ1(φ3(φ1(Gpre)))))) (7)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层，concat(·)为通道拼接；
第四步，再次使用细节语义增强模块对输出特征图GDS1提取细节语义增强特征，得到输出特征图GDS2；
第五步，进一步提取特征：
第5.1步，使用卷积核大小为3×3的卷积层降低第四步输出特征图GDS2的特征维度，得到特征图G5.1；
第5.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.1的特征，然后与G5.1相加，得到特征图G5.2，如下公式(8)所示：
G5.2＝φ3(φ1(G5.1))+G5.1 (8)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.3步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.2的特征，然后与G5.2相加，得到特征图G5.3，如下公式(9)所示：
G5.3＝φ3(φ1(G5.2))+G5.2 (9)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.3的特征，然后与G5.3相加，得到特征图G5.4，如下公式(10)所示：
G5.4＝φ3(φ1(G5.3))+G5.3 (10)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.4的特征，然后与G5.4相加，得到特征图G5.5，如下公式(11)所示：
G5.5＝φ3(φ1(G5.4))+G5.4 (11)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第六步，将上述第3.7步、第四步和第5.5步输出的特征图进行多级特征融合：
第6.1步，使用5个卷积层提取上述第5.5步输出特征图G5.5的特征，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.1；
第6.2步，使用两个卷积层对特征图G6.1进行特征提取，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.2，特征值作为预测值；
第6.3步，将上述第6.1步输出的特征图G6.1进行2倍上采样，与上述第四步输出的细节语义增强特征图GDS2进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.3；
第6.4步，使用两个卷积层提取特征图G6.3的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.4，特征值作为预测值；
第6.5步，将上述第6.3步输出的特征图G6.3进行2倍上采样，与上述第3.7步输出的细节语义增强特征图GDS1进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.5；
第6.6步，使用两个卷积层提取特征图G6.5的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.6，特征值作为预测值；
第七步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第6.2步、第6.4步和第6.6步输出的预测值与实际值之间的损失：
第7.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第7.2步，草莓果实生长的6个阶段，分别为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，对应的目标类别标签为0、1、2、3、4、5；
第7.3步，计算预测值与实际值之间的损失，包括：
(1)指数增强二值交叉熵EBCE(cls)，表示类别预测值与实际值的损失，如下公式(12)所示:
Figure BDA0002793298240000051
其中：
Figure BDA0002793298240000052
为类别预测值，clsij为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
Figure BDA0002793298240000053
为增强指数；
(2)均方误差MSE(x)，表示第0、1、2类目标中心点横坐标预测值与实际值的损失，如下公式(13)所示：
Figure BDA0002793298240000054
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000055
为预测框中心点横坐标，xi为实际框中心点横坐标；
(3)均方误差MSE(y)，表示第0、1、2类目标中心点纵坐标预测值与实际值的损失，如下公式(14)所示：
Figure BDA0002793298240000056
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000057
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(4)均方误差MSE(w)，表示第0、1、2类目标宽度预测值与实际值的损失，如下公式(15)所示：
Figure BDA0002793298240000058
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000059
为预测框宽度，wi为实际框宽度；
(4)均方误差MSE(h)，表示第0、1、2类目标高度预测值与实际值的损失，如下公式(16)所示：
Figure BDA0002793298240000061
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000062
为预测框高度，hi为实际框高度；
(5)二倍增强均方误差EMSE(x)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失，如下公式(17)所示：
Figure BDA0002793298240000063
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000064
为预测框中心点横坐标，xi为实际框中心点横坐标；
(6)二倍增强均方误差EMSE(y)，表示第3、4、5类目标中心点纵坐标预测值与实际值的损失，如下公式(18)所示：
Figure BDA0002793298240000065
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000066
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(7)二倍增强均方误差EMSE(w)，表示第3、4、5类目标宽度预测值与实际值的损失，如下公式(19)所示：
Figure BDA0002793298240000067
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000068
为预测框宽度，wi为实际框宽度；
(8)二倍增强均方误差EMSE(h)，表示第3、4、5类目标高度预测值与实际值的损失，如下公式(20)所示：
Figure BDA0002793298240000069
其中：M为被判别为该类别的预测框，
Figure BDA00027932982400000610
为预测框高度，hi为实际框高度；
(9)二值交叉熵BCE(conf)，表示目标置信度预测值与实际值的损失，如下公式(21)所示：
Figure BDA00027932982400000611
其中：
Figure BDA00027932982400000612
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
Figure BDA00027932982400000613
为增强指数。
(10)最终损失函数如下公式(22)所示：
Figure BDA0002793298240000071
其中：N为类别编号；
第八步，对模型预测结果进行NMS(Non-Maximum Suppression,非极大值抑制)，生成最终检测结果；
至此，完成了基于DSE-YOLOv3的多阶段草莓果实检测。
具体地，上述基于DSE-YOLOv3的多阶段草莓果实检测方法，所述第七步中指数增强二值交叉熵的增强指数
Figure BDA0002793298240000072
为20，S为19。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的NMS，全称为Non-Maximum Suppression，中文名为非极大值抑制，为本技术领域公知的算法。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的YOLOv3，全称为YouOnly Look Once v3，为本技术领域公知的算法。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法使用的细节语义增强模块，采用卷积层提取特征图，利用点卷积提取细节增强特征图，利用空洞率分别为1和3的空洞卷积提取语义增强特征图，然后进行通道拼接和1×1卷积得到融合的特征，最后，用卷积核大小为1×1、3×3、1×1、3×3的四个卷积层和通道拼接进行高低层特征融合，能够输出包含更多细节和语义信息的特征图，克服了多阶段草莓果实目标较小的问题。
(2)本发明方法实现了多样化特征提取、多尺度目标检测，适应于草莓果实由花蕾到成熟果实的生长全过程。多样化体现在DSE-YOLOv3通过普通的卷积层、点卷积层和空洞卷积层，分别提取普通的特征、细节特征和语义特征；多尺度目标检测有两层含义，一方面，细节语义增强模块，采用3个尺度进行特征提取，一个是3×3卷积，一个是点卷积，一个是空洞卷积；另一方面，YOLOv3方法采用三个尺度进行大、中、小目标(第6.2步的预测值用于检测大目标，第6.4步的预测值用于检测中等目标，第6.6步的预测值用于检测小目标)的检测。
(3)本发明方法中使用指数增强二值交叉熵和二倍增强均方误差相结合的损失函数来解决不同阶段果实数量不平衡的问题，损失函数使用的指数增强二值交叉熵，与二值交叉熵相比，能够帮助模型更加关注类别信息：
二值交叉熵偏导数如下公式(23)所示：
Figure BDA0002793298240000073
其中：
Figure BDA0002793298240000074
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号；
指数增强二值交叉熵偏导数如下公式(24)所示：
Figure BDA0002793298240000081
其中：
Figure BDA0002793298240000082
为类别预测值，clskj为类别实际值，S为划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
Figure BDA0002793298240000083
为增强指数；
从公式(23)和公式(24)的比较可以看出，指数增强二值交叉熵能够帮助模型更加关注类别信息。
本发明方法中损失函数使用的二倍增强均方误差，与均方误差相比，能够帮助模型更加关注数量较少的膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，有效解决数据类别不平衡问题：
均方误差偏导数如下公式(25)所示：
Figure BDA0002793298240000084
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000085
为预测框中心点横坐标，xi为实际框中心点横坐标；
二倍增强均方误差偏导数如下公式(26)所示：
Figure BDA0002793298240000086
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000087
为预测框中心点横坐标，xi为实际框中心点横坐标；
从公式(25)和公式(26)的比较可以看出，二倍增强均方误差能够帮助模型更加关注数量较少的膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，能够有效解决数据类别不平衡问题。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的整体流程图。
图2是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第二步提取特征模块图。
图3是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第三步细节语义增强模块图。
图4是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第五步进一步提取特征模块图。
图5是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第六步多级特征融合模块图。
图6是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的第一步采集草莓图像过程中拍摄方向示意图。
图7是本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的目标预测框和实际框示意图。
图8是自然场景下草莓图像使用本发明基于DSE-YOLOv3的多阶段草莓果实检测方法检测后的效果图。
具体实施方式
图1所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的整体流程如下：
采集自然场景下草莓图像数据并制作数据集→输入图像→提取特征→提取细节语义增强特征→提取细节语义增强特征→进一步提取特征→多级特征融合→计算损失→NMS非极大值抑制→得到检测结果。
图2所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的提取特征模块流程如下：
使用卷积核大小为3×3的卷积层归一化图像大小→使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构。
图3所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的细节语义增强模块的流程如下：
输入特征图→使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数量→使用卷积核大小为3×3的卷积层提取一般特征图→使用点卷积提取细节增强特征图→使用空洞率为1的3×3空洞卷积提取语义增强特征图→使用空洞率为2的3×3空洞卷积提取语义增强特征图→将特征图、细节增强特征图和语义增强特征图进行通道拼接→使用卷积核大小为1×1的卷积层进行特征融合→使用残差模块→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→将特征图进行通道拼接→使用卷积核大小为1×1的卷积层特征融合→得到输出增强特征图。
图4所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的进一步提取特征模块的流程如下：
使用卷积核大小为3×3的卷积层进行特征降维→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构→使用卷积核大小为1×1的卷积层降低通道数→使用卷积核大小为3×3的卷积层提取特征→使用残差结构。
图5所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的多级特征融合模块的流程如下：
使用5个卷积层提取特征→使用两个卷积层提取特征→输出预测值；
使用5个卷积层提取特征→2倍上采样→通道拼接→使用5个卷积层提取特征→使用两个卷积层提取特征→输出预测值；
使用5个卷积层提取特征→2倍上采样→通道拼接→使用5个卷积层提取特征→2倍上采样→通道拼接→使用5个卷积层提取特征→使用两个卷积层提取特征→输出预测值。
图6所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的采集数据过程中，拍摄方向为垂直于草莓植株方向和平行于草莓植株方向。
图7所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的目标预测框和实际框示意图，其中实线框为预测框，虚线框为实际框。
图8所示实施例表明，本发明基于DSE-YOLOv3的多阶段草莓果实检测方法的自然场景下检测效果图。
本发明方法对草莓果实生长阶段进行划分，包括花蕾到成熟果实的全过程，本说明书中提到草莓果实如没有特殊说明则为广义理解，包含花蕾到成熟果实的不同状态，实现对多种生长阶段草莓果实的检测。
实施例1
本实施例的基于DSE-YOLOv3的多阶段草莓果实检测方法，具体步骤如下：
第一步，采集自然场景下草莓图像数据并制作数据集：
第1.1步，分别在平行于草莓植株方向和垂直于草莓植株方向拍摄草莓图像；
第1.2步，使用labeling工具标注草莓图像，将草莓果实生长过程划分为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)等六个阶段，对于被严重遮挡的果实，遮挡区域大于85％和边缘区域小于15％的果实不予标注；
第1.3步，利用亮度调整、对比度调整和添加高斯噪声三种方法对所拍摄图像进行数据增广，达到扩充数据集的效果，其中亮度调整为四个等级，系数分别为0.6、0.8、1.2和1.4，对比度调整为两个等级，系数分别为0.8和1.2，高斯噪声均值为0，方差为0.02；
第1.4步，生成数据集；
第二步，提取特征：
第2.1步，将上述第1.4步得到的草莓图像作为输入，首先使用卷积核大小为3×3的卷积层将图像大小归一化为608×608像素，然后使用卷积核大小为3×3的卷积层进行特征降维，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取G2.1的特征，并与G2.1相加，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝φ3(φ1(G2.1))+G2.1 (1)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.3步，使用卷积核大小为3×3的卷积层降低特征图G2.2的特征维度，得到特征图G2.3；
第2.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.3的特征，并与G2.3相加，得到的特征图为G2.4，如下公式(2)所示：
G2.4＝φ3(φ1(G2.3))+G2.3 (2)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.4的特征，并与G2.4相加，得到特征图G2.5，如下公式(3)所示：
G2.5＝φ3(φ1(G2.4))+G2.4 (3)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第三步，对特征图进行细节语义特征增强：
第3.1步，将特征图G2.5作为细节语义增强模块的输入特征图，使用卷积核大小为3×3的卷积层进行特征降维，得到特征图G3.1；
第3.2步，使用卷积核大小为1×1的卷积层降低特征图G3.1的通道数，然后使用卷积核大小为3×3的卷积层对G3.1进行特征提取，得到特征图Gc，如下公式(4)所示：
Gc＝φ3(φ1(G3.1)) (4)
其中：φ1和φ3分别为卷积核大小分别为1×1和3×3的卷积层；
第3.3步，使用点卷积层提取特征图G3.1的细节增强特征，同时降低通道数，得到细节增强特征图Gp，如下公式(5)所示：
Gp＝φp(G3.1) (5)
其中：φp为点卷积层；
第3.4步，使用空洞率分别为1和2的两个卷积核大小为3×3的空洞卷积层依次提取细节增强特征图Gp的语义增强特征图Gd，如下公式(6)所示：
Gd＝φ3,1(φ3,2(Gp)) (6)
其中：φ3,1和φ3,2分别是空洞率为1和空洞率为2的卷积核大小为3×3的空洞卷积层；
第3.5步，将特征图Gc、细节增强特征图Gp和语义增强特征图Gd进行通道拼接，使用卷积核大小为1×1的卷积层提取拼接后特征图的特征；
第3.6步，将特征图G3.1和第3.5步输出的特征图相加，得到特征图Gpre；
第3.7步，使用4层卷积层提取特征图Gpre的特征，这4层卷积层卷积核大小分别为1×1，3×3，1×1，3×3，并且将这4层卷积层的输出特征图进行通道拼接，使用1×1卷积进行特征融合，得到细节语义增强模块的输出特征图GDS1，如下公式(7)所示：
GDS1＝φ1(concat(φ1(Gpre),φ3(φ1(Gpre)),φ1(φ3(φ1(Gpre))),φ3(φ1(φ3(φ1(Gpre)))))) (7)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层，concat(·)为通道拼接；
第四步，再次使用细节语义增强模块提取细节语义增强特征，得到细节语义增强模块的输出特征图GDS2；
第五步，进一步提取特征：
第5.1步，使用卷积核大小为3×3的卷积层降低第四步输出特征图GDS2的特征维度，得到特征图G5.1；
第5.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.1的特征，然后与G5.1相加，得到特征图G5.2，如下公式(8)所示：
G5.2＝φ3(φ1(G5.1))+G5.1 (8)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.3步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.2的特征，然后与G5.2相加，得到特征图G5.3，如下公式(9)所示：
G5.3＝φ3(φ1(G5.2))+G5.2 (9)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.3的特征，然后与G5.3相加，得到特征图G5.4，如下公式(10)所示：
G5.4＝φ3(φ1(G5.3))+G5.3 (10)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.4的特征，然后与G5.4相加，得到特征图G5.5，如下公式(11)所示：
G5.5＝φ3(φ1(G5.4))+G5.4 (11)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第六步，将上述第3.7步、第四步和第5.5步输出的特征图进行多级特征融合：
第6.1步，使用5个卷积层提取上述第5.5步输出特征图G5.5的特征，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.1；
第6.2步，使用两个卷积层对特征图G6.1进行特征提取，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.2，特征值作为预测值；
第6.3步，将上述第6.1步输出的特征图G6.1进行2倍上采样，与上述第四步输出的细节语义增强特征图GDS2进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.3；
第6.4步，使用两个卷积层提取特征图G6.3的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.4，特征值作为预测值；
第6.5步，将上述第6.3步输出的特征图G6.3进行2倍上采样，与上述第3.7步输出的细节语义增强特征图GDS进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.5；
第6.6步，使用两个卷积层提取特征图G6.5的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.6，特征值作为预测值；
上述卷积层的步长都为1；
第七步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第6.2步、第6.4步和第6.6步输出的预测值与实际值之间的损失：
第7.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第7.2步，草莓果实生长的6个阶段，分别为花蕾(squaring)、花朵(flowering)、初期幼果(young_fruit)、膨大期幼果(expanding)、变色期幼果(turning)和成熟果实(mature)，对应的目标类别标签为0、1、2、3、4、5；
第7.3步，计算预测值与实际值之间的损失，包括：
(1)指数增强二值交叉熵EBCE(cls)，表示类别预测值与实际值的损失，如下公式(12)所示:
Figure BDA0002793298240000131
其中：
Figure BDA0002793298240000132
为类别预测值，clskj为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
Figure BDA0002793298240000133
为增强指数；
(2)均方误差MSE(x)，表示第0、1、2类目标中心点横坐标预测值与实际值的损失，如下公式(13)所示：
Figure BDA0002793298240000134
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000135
为预测框中心点横坐标，xi为实际框中心点横坐标；
(3)均方误差MSE(y)，表示第0、1、2类目标中心点纵坐标预测值与实际值的损失，如下公式(14)所示：
Figure BDA0002793298240000136
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000137
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(4)均方误差MSE(w)，表示第0、1、2类目标宽度预测值与实际值的损失，如下公式(15)所示：
Figure BDA0002793298240000138
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000139
为预测框宽度，wi为实际框宽度；
(4)均方误差MSE(h)，表示第0、1、2类目标高度预测值与实际值的损失，如下公式(16)所示：
Figure BDA0002793298240000141
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000142
为预测框高度，hi为实际框高度；
(5)二倍增强均方误差EMSE(x)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失，如下公式(17)所示：
Figure BDA0002793298240000143
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000144
为预测框中心点横坐标，xi为实际框中心点横坐标；
(6)二倍增强均方误差EMSE(y)，表示第3、4、5类目标中心点纵坐标预测值与实际值的损失，如下公式(18)所示：
Figure BDA0002793298240000145
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000146
为预测框中心点纵坐标，yi为实际框中心点纵坐标；
(7)二倍增强均方误差EMSE(w)，表示第3、4、5类目标宽度预测值与实际值的损失，如下公式(19)所示：
Figure BDA0002793298240000147
其中：M为被判别为该类别的预测框，
Figure BDA0002793298240000148
为预测框宽度，wi为实际框宽度；
(8)二倍增强均方误差EMSE(h)，表示第3、4、5类目标高度预测值与实际值的损失，如下公式(20)所示：
Figure BDA0002793298240000149
其中：M为被判别为该类别的预测框，
Figure BDA00027932982400001410
为预测框高度，hi为实际框高度；
(9)二值交叉熵BCE(conf)，表示目标置信度预测值与实际值的损失，如下公式(21)所示：
Figure BDA00027932982400001411
其中：
Figure BDA00027932982400001412
为预测目标置信度，confkj为实际目标置信度，confkj∈[0，1]，S为划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号；
(10)最终损失函数如下公式(22)所示：
Figure BDA00027932982400001413
其中：N为类别编号；
第八步，对模型预测结果进行NMS(Non-Maximum Suppression,非极大值抑制)，生成最终检测结果；
至此，完成了基于DSE-YOLOv3的多阶段草莓果实检测。
具体地，上述基于DSE-YOLOv3的多阶段草莓果实检测方法，所述第七步中指数增强二值交叉熵的增强指数
Figure BDA0002793298240000151
为20，S为19。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的NMS，全称为Non-Maximum Suppression，中文名为非极大值抑制，为本技术领域公知的算法。
上述基于DSE-YOLOv3的多阶段草莓果实检测方法，其中的YOLOv3，全称为YouOnly Look Once v3，为本技术领域公知的算法。
图8显示了基于DSE-YOLOv3的多阶段草莓果实检测方法对真实场景下草莓图像的检测效果。
本发明针对多种生长阶段的草莓果实进行检测，设计的细节语义增强模块来改进YOLOv3算法，获得DSE-YOLOv3，能实现对不同大小草莓果实的检测；再加上引入指数增强二值交叉熵和二倍增强均方误差来改进YOLOv3算法的损失函数，能够实现不同类别果实不平衡的问题，有助于草莓果实生长全过程的合理管理。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种多阶段草莓果实检测方法，该方法包括以下内容：
采集自然场景下草莓图像数据，草莓图像数据包括草莓果实生长过程中从花蕾到成熟果实的不同生长阶段的图像数据，按照不同生长阶段对数据进行标注，标注后数据经预处理扩充后获得数据集；
构建细节语义增强YOLOv3网络：
细节语义增强YOLOv3网络为在YOLOv3的基础模型进行特征提取后，接入连续的两个细节语义增强模块；所述细节语义增强模块包括卷积核大小为3×3的卷积层、卷积核大小为1×1的卷积层、点卷积层、空洞率分别为1和2的两个3×3大小的空洞卷积层、通道拼接及特征融合、四层交替卷积层，输入特征经一个卷积核大小为3×3的卷积层分成三支，一支进入点卷积层后再分成两条支路，一支经两个卷积核大小不同的卷积层后输出特征图；点卷积层后的一条支路依次经两个不同空洞率的空洞卷积提取语义特征，提取的语义特征与两个卷积核大小不同的卷积层输出的特征图、点卷积层直接输出的细节特征进行通道拼接及特征融合；
将融合后的特征与前面经一个卷积核大小为3×3的卷积层处理后的第三支直接相加，再经过四层交替卷积层进行处理；
将这四层交替卷积层的每一层的输出特征图一起进行通道拼接及特征融合，即获得细节语义增强模块的输出特征图；
将不同生长阶段的图像数据输入到细节语义增强YOLOv3网络中，实现草莓果实生长全过程的检测。
2.根据权利要求1所述的检测方法，其特征在于，细节语义增强YOLOv3网络的损失函数losstotal为公式(22)：
Figure FDA0002793298230000011
其中：N为类别编号，即所划分的生长阶段的数量，i＝0、1、2、3、4、5，分别代表花蕾、花朵、初期幼果、膨大期幼果、变色期幼果、成熟果实六个生长阶段；MSE(·)为均方误差，xi为实际框中心点横坐标，yi为实际框中心点纵坐标，wi为实际框宽度，hi为实际框高度；EMSE(·)为二倍增强均方误差，BCE(conf)为二值交叉熵，EBCE(cls)为指数增强二值交叉熵，
指数增强二值交叉熵表示类别预测值与实际值的损失，用公式(12)表示:
Figure FDA0002793298230000012
其中：
Figure FDA0002793298230000013
为类别预测值，clskj为类别实际值，S为YOLOv3算法中划分单元格个数，k为单元格编号，B为各类别预测框，j为预测框编号，
Figure FDA0002793298230000014
为增强指数。
3.根据权利要求2所述的检测方法，其特征在于，所述二倍增强均方误差EMSE(xi)的表达式为公式(17)，表示第3、4、5类目标中心点横坐标预测值与实际值的损失：
Figure FDA0002793298230000021
其中：M为被判别为该类别的预测框，
Figure FDA0002793298230000022
为预测框中心点横坐标，xi为实际框中心点横坐标。
4.根据权利要求2所述的检测方法，其特征在于，所述指数增强二值交叉熵的增强指数
Figure FDA0002793298230000023
为20，S为19。
5.根据权利要求1所述的检测方法，其特征在于，数据集的制作过程是：
第1.1步，分别在平行于草莓植株方向和垂直于草莓植株方向拍摄草莓图像；
第1.2步，使用labeling工具标注草莓图像，将草莓果实生长过程划分为花蕾、花朵、初期幼果、膨大期幼果、变色期幼果和成熟果实六个阶段，对于被严重遮挡的果实，遮挡区域大于85％和边缘区域小于15％的果实不予标注；
第1.3步，利用亮度调整、对比度调整和添加高斯噪声三种方法对所拍摄图像进行数据增广，达到扩充数据集的效果，其中亮度调整为四个等级，系数分别为0.6、0.8、1.2和1.4，对比度调整为两个等级，系数分别为0.8和1.2，高斯噪声均值为0，方差为0.02。
6.一种多阶段草莓果实检测方法，其特征在于：
第一步，采集自然场景下包含不同生长阶段草莓果实的草莓图像数据并制作数据集；
第二步，提取特征：
第2.1步，将数据集中包含不同生长阶段草莓果实的草莓图像作为输入，首先使用卷积核大小为3×3的卷积层将图像大小归一化为608×608像素，然后使用卷积核大小为3×3的卷积层进行特征降维，得到输出的特征图为G2.1；
第2.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取G2.1的特征，将提取后的特征与G2.1相加，得到输出的特征图为G2.2，如下公式(1)所示：
G2.2＝φ3(φ1(G2.1))+G2.1 (1)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.3步，使用卷积核大小为3×3的卷积层降低特征图G2.2的特征维度，得到特征图G2.3；
第2.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.3的特征，将提取后特征与G2.3相加，得到的特征图为G2.4，如下公式(2)所示：
G2.4＝φ3(φ1(G2.3))+G2.3 (2)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第2.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G2.4的特征，将提取后的特征与G2.4相加，得到特征图G2.5，如下公式(3)所示：
G2.5＝φ3(φ1(G2.4))+G2.4 (3)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第三步，使用细节语义增强模块对特征图进行细节语义特征增强：
第3.1步，将特征图G2.5作为细节语义增强模块的输入特征图，使用卷积核大小为3×3的卷积层进行特征降维，得到特征图G3.1；
第3.2步，使用卷积核大小为1×1的卷积层降低特征图G3.1的通道数，然后使用卷积核大小为3×3的卷积层对G3.1进行特征提取，得到特征图Gc，如下公式(4)所示：
Gc＝φ3(φ1(G3.1)) (4)
其中：φ1和φ3分别为卷积核大小分别为1×1和3×3的卷积层；
第3.3步，使用点卷积层提取特征图G3.1的细节增强特征，同时降低通道数，得到细节增强特征图Gp，如下公式(5)所示：
Gp＝φp(G3.1) (5)
其中：φp为点卷积层；
第3.4步，使用空洞率分别为1和2的两个卷积核大小为3×3的空洞卷积层依次提取细节增强特征图Gp的语义增强特征图Gd，如下公式(6)所示：
Gd＝φ3,1(φ3,2(Gp)) (6)
其中：φ3,1和φ3,2分别是空洞率为1和空洞率为2的卷积核大小为3×3的空洞卷积层；
第3.5步，将特征图Gc、细节增强特征图Gp和语义增强特征图Gd进行通道拼接，使用卷积核大小为1×1的卷积层提取拼接后特征图的特征；
第3.6步，将特征图G3.1和第3.5步输出的特征图相加，得到特征图Gpre；
第3.7步，使用4层卷积层提取特征图Gpre的特征，这4层卷积层卷积核大小分别为1×1，3×3，1×1，3×3，并且将这4层卷积层的输出特征图进行通道拼接，使用1×1卷积进行特征融合，得到细节语义增强模块的输出特征图GDS1，如下公式(7)所示：
GDS1＝φ1(concat(φ1(Gpre),φ3(φ1(Gpre)),φ1(φ3(φ1(Gpre))),φ3(φ1(φ3(φ1(Gpre)))))) (7)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层，concat(·)为通道拼接；
第四步，第三步获得的细节语义增强模块的输出特征图GDS1再次使用细节语义增强模块提取输出细节语义增强特征，得到输出特征图GDS2；
第五步，进一步提取特征：
第5.1步，使用卷积核大小为3×3的卷积层降低第四步输出特征图GDS2的特征维度，得到特征图G5.1；
第5.2步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.1的特征，然后与G5.1相加，得到特征图G5.2，如下公式(8)所示：
G5.2＝φ3(φ1(G5.1))+G5.1 (8)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.3步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.2的特征，然后与G5.2相加，得到特征图G5.3，如下公式(9)所示：
G5.3＝φ3(φ1(G5.2))+G5.2 (9)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.4步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.3的特征，然后与G5.3相加，得到特征图G5.4，如下公式(10)所示：
G5.4＝φ3(φ1(G5.3))+G5.3 (10)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第5.5步，使用卷积核大小为1×1的卷积层、卷积核大小为3×3的卷积层依次提取特征图G5.4的特征，然后与G5.4相加，得到特征图G5.5，如下公式(11)所示：
G5.5＝φ3(φ1(G5.4))+G5.4 (11)
其中：φ1和φ3分别为卷积核大小为1×1和3×3的卷积层；
第六步，将上述第3.7步、第四步和第5.5步输出的特征图进行多级特征融合：
第6.1步，使用5个卷积层提取上述第5.5步输出特征图G5.5的特征，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.1；
第6.2步，使用两个卷积层对特征图G6.1进行特征提取，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.2，特征值作为预测值；
第6.3步，将上述第6.1步输出的特征图G6.1进行2倍上采样，与上述第四步输出的细节语义增强特征图GDS2进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.3；
第6.4步，使用两个卷积层提取特征图G6.3的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.4，特征值作为预测值；
第6.5步，将上述第6.3步输出的特征图G6.3进行2倍上采样，与上述第3.7步输出的细节语义增强特征图GDS1进行通道拼接，使用5个卷积层进行特征提取，这5个卷积层卷积核大小分别为1×1、3×3、1×1、3×3和1×1，得到特征图G6.5；
第6.6步，使用两个卷积层提取特征图G6.5的特征，这两个卷积层卷积核大小分别为3×3和1×1，得到特征图G6.6，特征值作为预测值；
第七步，使用结合指数增强二值交叉熵和二倍增强均方误差的损失函数计算上述第6.2步、第6.4步和第6.6步输出的预测值与实际值之间的损失：
第7.1步，中心点坐标(x,y)表示目标框位置，目标框大小用高度(h)和宽度(w)表示；
第7.2步，草莓果实生长的6个阶段，分别为花蕾、花朵、初期幼果、膨大期幼果、变色期幼果和成熟果实，对应的目标类别标签为0、1、2、3、4、5；
第7.3步，利用公式(22)计算预测值与实际值之间的损失：
Figure FDA0002793298230000051
其中：N为类别编号；MSE(·)为均方误差，xi为实际框中心点横坐标，yi为实际框中心点纵坐标，wi为实际框宽度，hi为实际框高度；EMSE(·)为二倍增强均方误差，BCE(conf)为二值交叉熵，EBCE(cls)为指数增强二值交叉熵，losstotal为总损失函数；
第八步，对模型预测结果进行非极大值抑制NMS，生成最终检测结果；
至此，完成了基于DSE-YOLOv3的多阶段草莓果实检测。
CN202011322407.8A 2020-11-23 2020-11-23 一种多阶段草莓果实检测方法 Active CN112435236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011322407.8A CN112435236B (zh) 2020-11-23 2020-11-23 一种多阶段草莓果实检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011322407.8A CN112435236B (zh) 2020-11-23 2020-11-23 一种多阶段草莓果实检测方法

Publications (2)

Publication Number Publication Date
CN112435236A CN112435236A (zh) 2021-03-02
CN112435236B true CN112435236B (zh) 2022-08-16

Family

ID=74692977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011322407.8A Active CN112435236B (zh) 2020-11-23 2020-11-23 一种多阶段草莓果实检测方法

Country Status (1)

Country Link
CN (1) CN112435236B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926605B (zh) * 2021-04-01 2022-07-08 天津商业大学 一种自然场景下多阶段草莓果实快速检测方法
CN114724140A (zh) * 2022-04-06 2022-07-08 中科合肥智慧农业协同创新研究院 一种基于yolo v3的草莓成熟度检测方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110490298A (zh) * 2019-07-25 2019-11-22 西安理工大学 基于膨胀卷积的轻量化深度卷积神经网络模型
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN111127499A (zh) * 2019-12-20 2020-05-08 北京工业大学 一种基于语义轮廓信息的安检图像刀具检测分割方法
CN111476252A (zh) * 2020-04-03 2020-07-31 南京邮电大学 一种面向计算机视觉应用的轻量化无锚框目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287849A (zh) * 2019-06-20 2019-09-27 北京工业大学 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110490298A (zh) * 2019-07-25 2019-11-22 西安理工大学 基于膨胀卷积的轻量化深度卷积神经网络模型
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN111127499A (zh) * 2019-12-20 2020-05-08 北京工业大学 一种基于语义轮廓信息的安检图像刀具检测分割方法
CN111476252A (zh) * 2020-04-03 2020-07-31 南京邮电大学 一种面向计算机视觉应用的轻量化无锚框目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Apple detection during different growth stages in orchards using the improved YOLO-V3 model;Yunong Tian等;《Computers and Electronics in Agriculture》;20190119;全文 *
基于YOLOv3的船舶实时监测识别;屈雯怡;《计算机与现代化》;20200315(第03期);全文 *
基于深度学习的实时人流统计方法研究;赵朵朵等;《传感技术学报》;20200815(第08期);全文 *
面向移动端的单阶段端到端目标检测压缩算法;童鸣等;《信号处理》;20191225(第12期);全文 *

Also Published As

Publication number Publication date
CN112435236A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Wang et al. DSE-YOLO: Detail semantics enhancement YOLO for multi-stage strawberry detection
CN110059758B (zh) 一种基于语义分割的遥感影像养殖塘检测方法
CN112435236B (zh) 一种多阶段草莓果实检测方法
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN110610506B (zh) 一种基于图像处理技术的姬松茸子实体生长参数检测方法
CN110751075A (zh) 一种基于实例分割的遥感影像养殖塘检测方法
CN114120093B (zh) 一种基于改进YOLOv5算法的煤矸目标检测方法
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割系统及方法
Gehlot et al. Analysis of different CNN architectures for tomato leaf disease classification
Ma et al. Using an improved lightweight YOLOv8 model for real-time detection of multi-stage apple fruit in complex orchard environments
Zhang et al. Verification of improved yolox model in detection of greenhouse crop organs: Considering tomato as example
CN115631462A (zh) 基于am-yolox的草莓病虫害检测方法及系统
Gao et al. Recognition and Detection of Greenhouse Tomatoes in Complex Environment.
CN114494910B (zh) 一种基于遥感图像的设施农用地多类别识别与分类方法
CN115050014A (zh) 一种基于图像文本学习的小样本番茄病害识别系统及方法
Liu et al. “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots
CN116152198A (zh) 一种基于Wave-SubNet轻量级模型的番茄叶斑病识别方法
Zhang et al. A tea bud segmentation, detection and picking point localization based on the MDY7-3PTB model
CN111523503A (zh) 基于改进ssd算法的苹果目标检测方法
Li et al. Detecting Plant Leaves Based on Vision Transformer Enhanced YOLOv5
CN116012713A (zh) 基于多源卫星遥感数据的作物种植信息监测方法
Yan et al. Identification and Location Method of Cherry Tomato Picking Point Based on Si-YOLO
CN112926605B (zh) 一种自然场景下多阶段草莓果实快速检测方法
CN115346212A (zh) 一种基于改进YOLOv5的苹果花朵生长状态检测方法
CN111768101B (zh) 一种顾及物候特征的遥感耕地变化检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant