CN111967385B - 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统 - Google Patents

基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统 Download PDF

Info

Publication number
CN111967385B
CN111967385B CN202010824752.5A CN202010824752A CN111967385B CN 111967385 B CN111967385 B CN 111967385B CN 202010824752 A CN202010824752 A CN 202010824752A CN 111967385 B CN111967385 B CN 111967385B
Authority
CN
China
Prior art keywords
scale
feature image
image
target frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010824752.5A
Other languages
English (en)
Other versions
CN111967385A (zh
Inventor
陈杨
何勇
张艳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202010824752.5A priority Critical patent/CN111967385B/zh
Publication of CN111967385A publication Critical patent/CN111967385A/zh
Application granted granted Critical
Publication of CN111967385B publication Critical patent/CN111967385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统。该方法包括：获取蓝莓图片；采用ResNet‑50深度学习网络对蓝莓图像进行初步特征提取，得到多尺度的初步特征图像；利用卷积层和池化层进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像；利用候选区域生成网络计算全部候选框；利用RoIAlign层将候选框与新特征图像上的特征进行匹配，得到每个尺度对应的匹配候选框的特征图；将所有尺度对应的匹配候选框的特征图融合，输入图像分类层，输出蓝莓灰霉病检测结果，包括健康的蓝莓花朵、健康的蓝莓果实、感染灰霉病的蓝莓花朵和感染灰霉病的蓝莓果实。本发明可以提高蓝莓灰霉病检测精度。

Description

基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统。
背景技术
蓝莓营养价值高，果肉细腻，口感独特，富含蛋白质及多种维生素，还富含多种黄酮类和多糖类化合物。灰霉病是蓝莓上发生最为严重的病害，对产量的影响也是最大的，当蓝莓花和果实染上灰霉病时会呈现水浸状，软化腐烂，有灰黑色霉层。
目前对于蓝莓灰霉病的检测主要靠人工诊断，需要诊断者具备一定的经验和知识，随着人工成本越来越高，诊断成本也越来越高，因此可以考虑图像诊断的方式代替人工诊断来降低成本。但是由于蓝莓花朵果实尺寸较小，分布密集，一般的图像检测算法并不完全适用，导致蓝莓灰霉病的检测结果精度低。
发明内容
本发明的目的是提供一种基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统，以提高蓝莓灰霉病检测的精度。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习目标检测算法的蓝莓灰霉病检测方法，包括：
获取蓝莓图片；所述蓝莓图片中包括蓝莓的花朵和/或果实；
采用ResNet-50深度学习网络对所述蓝莓图像进行初步特征提取，得到多尺度的初步特征图像；
利用卷积层和池化层对所述多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像；
利用候选区域生成网络计算全部候选框；所述全部候选框包括多个前景候选框和多个背景候选框；
利用RoIAlign层将所述全部候选框与每个尺度对应的新特征图像上的特征进行匹配，得到每个尺度对应的匹配候选框的特征图；
将所有尺度对应的匹配候选框的特征图融合，得到融合特征图；
将所述融合特征图输入图像分类层，输出蓝莓灰霉病检测结果；所述蓝莓灰霉病检测结果中包括每个检测类别的概率和检测框；所述检测类别包括：健康的蓝莓花朵、健康的蓝莓果实、感染灰霉病的蓝莓花朵和感染灰霉病的蓝莓果实。
可选的，所述采用ResNet-50深度学习网络对所述蓝莓图像进行初步特征提取，得到多尺度的初步特征图像，具体包括：
将所述蓝莓图像输入所述ResNet-50深度学习网络；所述ResNet-50深度学习网络包括2个第一残差学习模块、3个第二残差学习模块、5个第三残差学习模块和2个第四残差学习模块；所述第一残差学习模块、所述第二残差学习模块、所述第三残差学习模块和所述第四残差学习模块中的卷积滤波器参数不同；
所述蓝莓图像经过所述2个第一残差学习模块后，生成第一尺度的初步特征图像；
所述第一尺度的初步特征图像经过所述3个第二残差学习模块后，生成第二尺度的初步特征图像；
所述第二尺度的初步特征图像经过所述5个第三残差学习模块后，生成第三尺度的初步特征图像；
所述第三尺度的初步特征图像经过所述2个第四残差学习模块后，生成第四尺度的初步特征图像。
可选的，所述利用卷积层和池化层对所述多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像，具体包括：
将第四尺度的初步特征图像C4通过第四卷积层生成第四尺度新的特征图像P4；所述多尺度的初步特征图像包括第一尺度的初步特征图像C1、第二尺度的初步特征图像C2、第三尺度的初步特征图像C3和第四尺度的初步特征图像C4；
将第四尺度新的特征图像P4通过池化层生成第五特征图像P5；
将第三尺度的初步特征图像C3通过第三卷积层生成新的特征图像C3-2；将第四尺度新的特征图像P4通过2倍的上采样生成与新的特征图像C3-2相同尺寸的特征图像，并与新的特征图像C3-2叠加生成第三尺度新的特征图像P3；
将第二尺度的初步特征图像C2通过第二卷积层生成新的特征图像C2-2；将第三尺度新的特征图P3通过2倍的上采样生成与新的特征图像C2-2相同尺寸的特征图像，并与新的特征图像C2-2叠加生成第二尺度新的特征图像P2；
将第一尺度的初步特征图像C1通过第一卷积层生成新的特征图像C1-2；将第二尺度新的特征图像P2通过2倍的上采样生成与新的特征图像C1-2相同尺寸的特征图像，并与新的特征图像C1-2叠加生成第一尺度新的特征图像P1；所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层的参数相同；
将所述第四尺度新的特征图像P4、所述第三尺度新的特征图像P3、所述第二尺度新的特征图像P2和所述第一尺度新的特征图像P1分别通过相同的卷积层，生成对应尺度的新特征图像；所述新特征图像包括第四尺度对应的新特征图像P4-1、所述第三尺度对应的新特征图像P3-1、所述第二尺度对应的新特征图像P2-1和所述第一尺度对应的新特征图像P1-1。
可选的，所述利用候选区域生成网络计算全部候选框，具体包括：
将所述第五特征图像P5和每个新特征图像作为输入图像输入所述候选区域生成网络；
对于每个输入图像，根据所述输入图像的每个像素点来建立目标框，得到带有目标框的输入图像；每个像素点对应多个尺寸的目标框；
将所述带有目标框的输入图像接入第一全连接层，输出每个目标框的区域得分；并将每个目标框的区域得分接入Softmax函数，确定每个目标框的类别；所述目标框的类别包括背景目标框和前景目标框；
将所述带有目标框的输入图像接入第二全连接层，输出每个目标框的坐标位置参数；所述目标框的坐标位置参数包括目标框的中心点位置、目标框的宽度和目标框的高度；
依次得到所有输入图像的所有目标框，得到目标框集合；
从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框。
可选的，所述从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框，具体包括：
从所述目标框集合中剔除超出输入图像边界的目标框，得到第一目标框集合；
从所述第一目标框集合中剔除长度小于长度阈值和/或宽度小于宽度阈值的目标框，得到第二目标框集合；
将所述第二目标框集合中的目标框按照区域得分由高到低排序，筛选前N个目标框，得到第三目标框集合；
采用非极大抑制算法从所述第三目标框集合中，剔除重叠度大于设定阈值的目标框，得到第四目标框集合；所述重叠度为所述第三目标框中有重叠区域的两个目标框之间的重叠比例；
从所述第四目标框集合中随机筛选M个前景目标框和M个背景目标框，得到全部候选框；2M＜N。
本发明还提供一种基于深度学习目标检测算法的蓝莓灰霉病检测系统，包括：
蓝莓图像获取模块，用于获取蓝莓图片；所述蓝莓图片中包括蓝莓的花朵和/或果实；
初步特征图像获取模块，用于采用ResNet-50深度学习网络对所述蓝莓图像进行初步特征提取，得到多尺度的初步特征图像；
新特征图像获取模块，用于利用卷积层和池化层对所述多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像；
全部候选框计算模块，用于利用候选区域生成网络计算全部候选框；所述全部候选框包括多个前景候选框和多个背景候选框；
特征匹配模块，用于利用RoIAlign层将所述全部候选框与每个尺度对应的新特征图像上的特征进行匹配，得到每个尺度对应的匹配候选框的特征图；
特征图融合模块，用于将所有尺度对应的匹配候选框的特征图融合，得到融合特征图；
蓝莓灰霉病检测模块，用于将所述融合特征图输入图像分类层，输出蓝莓灰霉病检测结果；所述蓝莓灰霉病检测结果中包括每个检测类别的概率和检测框；所述检测类别包括：健康的蓝莓花朵、健康的蓝莓果实、感染灰霉病的蓝莓花朵和感染灰霉病的蓝莓果实。
可选的，所述初步特征图像获取模块，具体包括：
输入单元，用于将所述蓝莓图像输入所述ResNet-50深度学习网络；所述ResNet-50深度学习网络包括2个第一残差学习模块、3个第二残差学习模块、5个第三残差学习模块和2个第四残差学习模块；所述第一残差学习模块、所述第二残差学习模块、所述第三残差学习模块和所述第四残差学习模块中的卷积滤波器参数不同；
第一尺度初步特征图像生成单元，用于所述蓝莓图像经过所述2个第一残差学习模块后，生成第一尺度的初步特征图像；
第二尺度初步特征图像生成单元，用于所述第一尺度的初步特征图像经过所述3个第二残差学习模块后，生成第二尺度的初步特征图像；
第三尺度初步特征图像生成单元，用于所述第二尺度的初步特征图像经过所述5个第三残差学习模块后，生成第三尺度的初步特征图像；
第四尺度初步特征图像生成单元，用于所述第三尺度的初步特征图像经过所述2个第四残差学习模块后，生成第四尺度的初步特征图像。
可选的，所述新特征图像获取模块，具体包括：
第四尺度新的特征图像P4生成单元，用于将第四尺度的初步特征图像C4通过第四卷积层生成第四尺度新的特征图像P4；所述多尺度的初步特征图像包括第一尺度的初步特征图像C1、第二尺度的初步特征图像C2、第三尺度的初步特征图像C3和第四尺度的初步特征图像C4；
第五特征图像生成单元，用于将第四尺度新的特征图像P4通过池化层生成第五特征图像P5；
第三尺度新的特征图像P3生成单元，用于将第三尺度的初步特征图像C3通过第三卷积层生成新的特征图像C3-2；将第四尺度新的特征图像P4通过2倍的上采样生成与新的特征图像C3-2相同尺寸的特征图像，并与新的特征图像C3-2叠加生成第三尺度新的特征图像P3；
第二尺度新的特征图像P2生成单元，用于将第二尺度的初步特征图像C2通过第二卷积层生成新的特征图像C2-2；将第三尺度新的特征图P3通过2倍的上采样生成与新的特征图像C2-2相同尺寸的特征图像，并与新的特征图像C2-2叠加生成第二尺度新的特征图像P2；
第一尺度新的特征图像P1生成单元，用于将第一尺度的初步特征图像C1通过第一卷积层生成新的特征图像C1-2；将第二尺度新的特征图像P2通过2倍的上采样生成与新的特征图像C1-2相同尺寸的特征图像，并与新的特征图像C1-2叠加生成第一尺度新的特征图像P1；所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层的参数相同；
新特征图像生成单元，用于将所述第四尺度新的特征图像P4、所述第三尺度新的特征图像P3、所述第二尺度新的特征图像P2和所述第一尺度新的特征图像P1分别通过相同的卷积层，生成对应尺度的新特征图像；所述新特征图像包括第四尺度对应的新特征图像P4-1、所述第三尺度对应的新特征图像P3-1、所述第二尺度对应的新特征图像P2-1和所述第一尺度对应的新特征图像P1-1。
可选的，所述全部候选框计算模块，具体包括：
输入单元，用于将所述第五特征图像P5和每个新特征图像作为输入图像输入所述候选区域生成网络；
目标框建立单元，用于对于每个输入图像，根据所述输入图像的每个像素点来建立目标框，得到带有目标框的输入图像；每个像素点对应多个尺寸的目标框；
目标框类别确定单元，用于将所述带有目标框的输入图像接入第一全连接层，输出每个目标框的区域得分；并将每个目标框的区域得分接入Softmax函数，确定每个目标框的类别；所述目标框的类别包括背景目标框和前景目标框；
目标框坐标位置参数确定单元，用于将所述带有目标框的输入图像接入第二全连接层，输出每个目标框的坐标位置参数；所述目标框的坐标位置参数包括目标框的中心点位置、目标框的宽度和目标框的高度；
目标框集合获取单元，用于依次得到所有输入图像的所有目标框，得到目标框集合；
目标框筛选单元，用于从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框。
可选的，所述目标框筛选单元，具体包括：
第一筛选子单元，用于从所述目标框集合中剔除超出输入图像边界的目标框，得到第一目标框集合；
第二筛选子单元，用于从所述第一目标框集合中剔除长度小于长度阈值和/或宽度小于宽度阈值的目标框，得到第二目标框集合；
第三筛选子单元，用于将所述第二目标框集合中的目标框按照区域得分由高到低排序，筛选前N个目标框，得到第三目标框集合；
第四筛选子单元，用于采用非极大抑制算法从所述第三目标框集合中，剔除重叠度大于设定阈值的目标框，得到第四目标框集合；所述重叠度为所述第三目标框中有重叠区域的两个目标框之间的重叠比例；
第五筛选子单元，用于从所述第四目标框集合中随机筛选M个前景目标框和M个背景目标框，得到全部候选框；2M＜N。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明采用基于区域的深度学习目标检测算法对蓝莓灰霉病进行检测，相比于其他基于区域的深度学习目标检测算法，本发明对感染灰霉病的蓝莓花朵和果实检测准确度更高，在训练和检测速度上也有显著提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于深度学习目标检测算法的蓝莓灰霉病检测方法的流程示意图；
图2为本发明深度学习目标检测模型的结构示意图；
图3为本发明ResNet-50深度学习网络的结构图；
图4为本发明基于深度学习目标检测算法的蓝莓灰霉病检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是针对上述状况的不足，提出一种基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统，通过搭建深度学习目标检测模型，可以直接通过数码图像对感染灰霉病的蓝莓进行自动诊断，摆脱对人工专家的依赖，节省人工成本，相比于其他基于区域的深度学习目标检测算法，本发明对感染灰霉病的蓝莓花朵和果实检测准确度更高，在训练和检测速度上也有显著提高。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于深度学习目标检测算法的蓝莓灰霉病检测方法的流程示意图。如图1所示，本发明基于深度学习目标检测算法的蓝莓灰霉病检测方法包括以下步骤：
步骤100：获取蓝莓图片。使用RGB相机近距离采集蓝莓花朵与果实照片，蓝莓图片中包括蓝莓的花朵和/或果实。在进行深度学习目标检测模型训练时采集的数据集包含健康的和带有灰霉病菌的蓝莓图像。
采集到蓝莓图片后输入深度学习目标检测模型，可以实现对蓝莓灰霉病的检测，本发明构建的深度学习目标检测模型包括：ResNet-50深度学习网络、特征提取层、卷积层、候选区域生成网络、RoIAlign层和图像分类层。具体结构如图2所示，图2中Conv 1×1×256表示滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层；Upsample×2表示2倍的上采样；Maxpooling(1×1)stride＝2表示池化区域大小为1×1、池化步长为2的最大池化层；Conv 3×3×256表示滤波器总数为256、滤波器像素大小为3×3、卷积步长为1的卷积层；Maxpooling 7×7×256表示滤波器总数为256、池化区域大小为7×7的最大池化层；rpn_logits表示锚点输出是前景还是背景，1为前景，0为背景；rpn_probs表示锚点输出为前景或背景的概率；rpn_bbox表示锚点框坐标位置参数。
步骤200：采用ResNet-50深度学习网络对蓝莓图像进行初步特征提取，得到多尺度的初步特征图像。包括：2个第一残差学习模块、3个第二残差学习模块、5个第三残差学习模块和2个第四残差学习模块；所述第一残差学习模块、所述第二残差学习模块、所述第三残差学习模块和所述第四残差学习模块中的卷积滤波器参数不同。所述蓝莓图像C0经过所述2个第一残差学习模块后，生成第一尺度的初步特征图像C1，所述第一尺度的初步特征图像C1经过所述3个第二残差学习模块后，生成第二尺度的初步特征图像C2，所述第二尺度的初步特征图像C2经过所述5个第三残差学习模块后，生成第三尺度的初步特征图像C3，所述第三尺度的初步特征图像C3经过所述2个第四残差学习模块后，生成第四尺度的初步特征图像C4。
具体的，ResNet-50深度学习网络的结构图如图3所示，包括：
卷积滤波器总数为64、滤波器像素大小为7×7、卷积步长为2的卷积层；
池化区域大小为3×3、池化步长为2的池化层；
卷积滤波器总数为64、滤波器像素大小为1×1、卷积步长为2的卷积层；
卷积滤波器总数为64、滤波器像素大小为3×3、卷积步长为1的卷积层；
卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层；
连续2个由1个卷积滤波器总数为64、滤波器像素大小为1×1、卷积步长为1的卷积层，1个卷积滤波器总数为64、滤波器像素大小为3×3、卷积步长为1的卷积层以及1个卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层共同构成的残差学习模块(Residual Learning Block)A1；
卷积滤波器总数为128、滤波器像素大小为1×1、卷积步长为2的卷积层；
卷积滤波器总数为128、滤波器像素大小为3×3、卷积步长为1的卷积层；
卷积滤波器总数为512、滤波器像素大小为1×1、卷积步长为1的卷积层；
连续3个由1个卷积滤波器总数为128、滤波器像素大小为1×1、卷积步长为1的卷积层，1个卷积滤波器总数为128、滤波器像素大小为3×3、卷积步长为1的卷积层以及1个卷积滤波器总数为512、滤波器像素大小为1×1、卷积步长为1的卷积层共同构成的残差学习模块A2；
卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为2的卷积层；
卷积滤波器总数为256、滤波器像素大小为3×3、卷积步长为1的卷积层；
卷积滤波器总数为1024、滤波器像素大小为1×1、卷积步长为1的卷积层；
连续5个由1个卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层，1个卷积滤波器总数为256、滤波器像素大小为3×3、卷积步长为1的卷积层以及1个卷积滤波器总数为1024、滤波器像素大小为1×1、卷积步长为1的卷积层共同构成的残差学习模块A3；
卷积滤波器总数为512、滤波器像素大小为1×1、卷积步长为2的卷积层；
卷积滤波器总数为512、滤波器像素大小为3×3、卷积步长为1的卷积层；
卷积滤波器总数为2048、滤波器像素大小为1×1、卷积步长为1的卷积层；
连续2个由1个卷积滤波器总数为512、滤波器像素大小为1×1、卷积步长为1的卷积层，1个卷积滤波器总数为512、滤波器像素大小为3×3、卷积步长为1的卷积层以及1个卷积滤波器总数为2048、滤波器像素大小为1×1、卷积步长为1的卷积层共同构成的残差学习模块A4。
基于上述结构，以原始蓝莓图像C0的尺寸为H*L*3为例，原始蓝莓图像C0经过残差学习模块A1时生成的特征图像C1尺寸为(H/8)*(L/8)*256，特征图像C1经过残差学习模块A2时生成的特征图像C2尺寸为(H/16)*(L/16)*512，特征图像C2经过残差学习模块A3时生成的特征图像C3尺寸为(H/32)*(L/32)*1024，特征图像C3经过残差学习模块A4时生成的特征图像C4尺寸为(H/64)*(L/64)*2048，这样就得到了不同尺度空间的特征图像。
步骤300：利用卷积层和池化层对多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像。具体过程如下：
将第四尺度的初步特征图像C4通过第四卷积层生成第四尺度新的特征图像P4。第四卷积层的卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1。
将第四尺度新的特征图像P4通过池化层生成第五特征图像P5，第五特征图像P5用于后续的候选框计算过程。池化层的池化区域大小为1×1、池化步长为2。
将第三尺度的初步特征图像C3通过第三卷积层生成新的特征图像C3-2。第三卷积层的卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1。将第四尺度新的特征图像P4通过2倍的上采样生成与新的特征图像C3-2相同尺寸的特征图像，并与新的特征图像C3-2叠加生成第三尺度新的特征图像P3。
将第二尺度的初步特征图像C2通过第二卷积层生成新的特征图像C2-2，第二卷积层的卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1。将第三尺度新的特征图P3通过2倍的上采样生成与新的特征图像C2-2相同尺寸的特征图像，并与新的特征图像C2-2叠加生成第二尺度新的特征图像P2。
将第一尺度的初步特征图像C1通过第一卷积层生成新的特征图像C1-2，第一卷积层的卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1。将第二尺度新的特征图像P2通过2倍的上采样生成与新的特征图像C1-2相同尺寸的特征图像，并与新的特征图像C1-2叠加生成第一尺度新的特征图像P1。
将所述第四尺度新的特征图像P4、所述第三尺度新的特征图像P3、所述第二尺度新的特征图像P2和所述第一尺度新的特征图像P1分别通过相同的卷积层，生成对应尺度的新特征图像，即所述第四尺度对应的新特征图像P4-1、所述第三尺度对应的新特征图像P3-1、所述第二尺度对应的新特征图像P2-1和所述第一尺度对应的新特征图像P1-1。此过程中卷积层的卷积滤波器总数为256、滤波器像素大小为3×3、卷积步长为1。经过卷积层后，每个尺度的特征图像均可以消除之前上采样带来的混叠效应。
生成的新特征图像P1-1、P2-1、P3-1和P4-1的每一层特征图像尺寸都不相同，尺寸大的低层特征网络包含的特征信息较少，但是对目标位置的判断更准确，尺寸小的高层特征网络包含的特征信息丰富，但是对目标位置的判断比较粗糙。
步骤400：利用候选区域生成网络计算全部候选框。全部候选框包括多个前景候选框和多个背景候选框。将第五特征图像P5和新特征图像P1-1、P2-1、P3-1和P4-1分别作为输入图像输入所述候选区域生成网络，以计算锚点，即候选框。对于每个输入图像，均执行下列步骤，以得到所有的目标框。具体过程如下：
根据所述输入图像的每个像素点来建立目标框(也叫锚点)，得到带有目标框的输入图像。每个像素点对应多个尺寸的目标框，例如，可以预先设定15种锚点，包含原图像尺寸空间上32×32，64×64，128×128，256×256，512×512五种面积和1:1，1:2，2:1三种长宽比。
将所述带有目标框的输入图像接入第一全连接层，输出每个目标框的区域得分，第一全连接层的输出维度为2*15。然后将每个目标框的区域得分接入Softmax函数，判断每个目标框属于背景(background)目标框还是前景(foreground)目标框。
将所述带有目标框的输入图像接入第二全连接层，输出每个目标框的坐标位置参数，所述目标框的坐标位置参数包括目标框的中心点位置、目标框的宽度和目标框的高度，因此，第二全连接层的输出维度为4×15。
每个输入图像对应输出很多目标框，依次得到所有输入图像的所有目标框，得到目标框集合。
从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框。筛选过程如下：
(1)从所述目标框集合中剔除超出输入图像边界的目标框，得到第一目标框集合；
(2)从所述第一目标框集合中剔除长度小于长度阈值和/或宽度小于宽度阈值的目标框，得到第二目标框集合；
(3)将所述第二目标框集合中的目标框按照区域得分由高到低排序，筛选前N个目标框，得到第三目标框集合。N的数值根据实际情况而定，例如，N可以为12000。
(4)采用非极大抑制算法从所述第三目标框集合中，剔除重叠度大于设定阈值的目标框，得到第四目标框集合；所述重叠度为所述第三目标框中有重叠区域的两个目标框之间的重叠比例；
(5)从所述第四目标框集合中随机筛选M个前景目标框和M个背景目标框，得到全部候选框。其中，2M＜N，M的取值根据实际情况而定，例如，M可以为128。
步骤500：利用RoIAlign层将全部候选框与每个尺度对应的新特征图像上的特征进行匹配，得到每个尺度对应的匹配候选框的特征图。RoIAlign池化层首先将每一个RoI映射到特征图的对应位置上，然后再将ROI(候选框)划分为H×W大小的分块，在每一个分割的小区域内取四个采样点，利用双线性插值法计算得到四个采样点的像素精确值，然后再根据最大池化或平均池化的原理得到最终的每个小区域的特征值参数，最终获得固定大小为H×W的特征图，完成匹配。
步骤600：将所有尺度对应的匹配候选框的特征图融合，得到融合特征图。RoIAlign层先将每个尺度对应的匹配候选框的特征图池化为相同尺度的特征图，然后再进行融合，进而得到融合特征图。
步骤700：将融合特征图输入图像分类层，输出蓝莓灰霉病检测结果。所述蓝莓灰霉病检测结果中包括每个检测类别的概率和检测框；所述检测类别包括：健康的蓝莓花朵、健康的蓝莓果实、感染灰霉病的蓝莓花朵和感染灰霉病的蓝莓果实。具体的，将融合特征图输入图像分类层(build_classifier_graph层)中的Relu层，然后再分别输入到5维和4维的两个并行的全连接层。5维的全连接层连接到一个加上背景类别(4个种类+背景)的Softmax分类概率估计输出cls_score，即5种分类的概率。4维的全连接层连接到每一个类别检测框位置的回归修正输出bbox_predict，即预测目标检测位置，也就是检测框的位置。
本发明在构建深度学习目标检测模型后，首先需要对该模型进行训练，然后采用该模型执行上述步骤，得到蓝莓灰霉病的检测结果。对该深度学习目标检测模型进行训练的过程如下：
1.使用RGB相机近距离采集蓝莓花朵与果实照片，采集的数据集包含健康的和带有灰霉病菌的蓝莓图像。
2.使用labelImg对图像进行标注，标注类别包括：健康的蓝莓果实、健康的蓝莓花朵、感染的蓝莓果实、感染的蓝莓花朵。
3.对图像数据集在[0，1]的范围进行归一化处理，
4.从归一化后的数据集中任意选取70％的带标签图像作为训练集，剩余30％带标签图像作为测试集。
5.原始图像C0输入ResNet-50深度学习网络，得到不同尺度空间的特征图像C1、C2、C3、C4。
6.C4通过卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层生成新的特征图像P4；P4通过池化区域大小为1×1、池化步长为2的池化层生成特征图像P5。C3通过卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层生成新的特征图像C3-2，P4通过2倍的上采样生成与C3-2相同尺寸的特征图像，并与C3-2叠加生成新的特征图像P3。C2通过卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层生成新的特征图像C2-2，P3通过2倍的上采样生成与C2-2相同尺寸的特征图像，并与C2-2叠加生成新的特征图像P2。C1通过卷积滤波器总数为256、滤波器像素大小为1×1、卷积步长为1的卷积层生成新的特征图像C1-2，P2通过2倍的上采样生成与C1-2相同尺寸的特征图像，并与C1-2叠加生成新的特征图像P1。
7.P1、P2、P3、P4分别通过卷积滤波器总数为256、滤波器像素大小为3×3、卷积步长为1的卷积层生成新的特征图像P1-1、P2-1、P3-1和P4-1，以消除之前步骤中上采样带来的混叠效应。
8.特征图像P5、P1-1、P2-1、P3-1和P4-1共5层特征图输入到候选区域生成网络(RegionProposalNetwork，RPN)，计算各个特征图对应的锚点。生成锚点的新特征图再分别接入两个全连接层，第一个全连接层的输出维度为2*15，代表每个锚点的区域得分，并再接入Softmax函数用于判断该锚点属于背景(background)还是前景(foreground)；第二个全连接层的输出维度为4×15，代表每个锚点候选框的坐标位置参数(中心点位置和候选框的宽高)并通过框回归进行修正。
候选区域生成网络生成的锚点如果和真实标注框(GroundTruth)重叠度(IoU)在0.7以上就是前景锚点，如果重叠度(IoU)小于0.3以下则算作背景锚点(IoU)，IoU在0.3和0.7之间的锚点不会用于训练。对于前景锚点，可以通过线性回归方法对这些接近真实标注框的前景锚点的位置进行修正。修正公式为：
Zx＝Qx+Qw·dx(Q)
Zy＝Qy+Qh·dy(Q)
Zw＝Qw·exp(dw(Q))
Zh＝Qh·exp(dh(Q))
四维向量(x,y,w,h)分别表示候选框的中心点坐标以及宽、高。Q表示原始的前景锚点(foreground anchor)，G表示真实标注框，将Q通过平移和缩放得到和G接近的新候选框Z。
其中，需要线性优化的参数为dx(Q),dy(Q),dw(Q),dh(Q)四个参数。优化过程如下：
优化函数为：
ψ(Q)表示输入的特征图，W为需要学习的参数；
代价函数为：
其中为平移和尺度因子：/>
利用上述优化函数和代价函数得到优化后的dx(Q),dy(Q),dw(Q),dh(Q)，进而采用优化后的dx(Q),dy(Q),dw(Q),dh(Q)对前景锚点的位置进行修正，得到修正后的前景锚点位置。
在对部分前景锚点进行修正之后，开始筛选前景锚点和背景锚点。首先对超过原始图像边界的RoI(锚点)进行剪裁；然后再剔除掉长或宽特别小的RoI；再将剩下的RoI按区域得分从高到低排序，选取前12000个RoI；再用阈值为0.7的非极大抑制算法进行进一步筛选，排除相互之间重叠过多的RoI；最后在剩下的RoI中随机选取128个前景锚点和128个背景锚点，完成筛选。
训练候选区域生成网络的损失函数如下：
其中，i表示训练集中第i个锚点，表示第i个锚点是前景的概率，pi为1代表前景，pi为0代表背景，ti表示预测的RoI坐标，/>为真实标注框的坐标。
9.筛选完成后，采用RoIAlign层将筛选得到的候选框和每个特征图上的特征进行精确匹配，匹配完成后将匹配上候选框的特征图通过最大池化层(Maxpooling)共同池化为7×7×256的特征图并进行融合。最后将融合的特征图输入进build_classifier_graph层中的Relu层、然后再分别输入到5维和4维的两个并行的全连接层，前者是连接到一个加上背景类别(4个种类+背景)的Softmax分类概率估计输出cls_score，后者是连接到每一个类别检测框位置的回归修正输出bbox_predict。
cls_score的评估分类损失值Losscls由真实分类a对应的概率决定：
Losscls＝-logPa
bbox_predict输出bounding box回归的位移，输出4*a维数组Ta，bbox_predict表示分别属于a类时，真实分类对应的预测平移参数。
检测框位置的代价函数Lossbbox由真实分类对应的预测平移参数Ta和真实平移缩放参数V(实际值)之间的差值来决定：
其中g为smooth L1误差，对异常值不敏感：
总损失值为Losscls和Lossbbox两者加权之和，即Loss＝Losscls+Lossbbox；如果分类目标为背景则不考虑Lossbbox，即Loss＝Losscls。
10.将训练集数据输入到深度学习目标检测算法模型中进行训练，将测试集数据输入到训练好的模型中得到测试集的测试准确率，至此完成训练。
本发明还提供一种基于深度学习目标检测算法的蓝莓灰霉病检测系统，图4为本发明基于深度学习目标检测算法的蓝莓灰霉病检测系统的结构示意图。如图4所示，本发明基于深度学习目标检测算法的蓝莓灰霉病检测系统包括：
蓝莓图像获取模块401，用于获取蓝莓图片；所述蓝莓图片中包括蓝莓的花朵和/或果实。
初步特征图像获取模块402，用于采用ResNet-50深度学习网络对所述蓝莓图像进行初步特征提取，得到多尺度的初步特征图像。
新特征图像获取模块403，用于利用卷积层和池化层对所述多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像。
全部候选框计算模块404，用于利用候选区域生成网络计算全部候选框；所述全部候选框包括多个前景候选框和多个背景候选框。
特征匹配模块405，用于利用RoIAlign层将所述全部候选框与每个尺度对应的新特征图像上的特征进行匹配，得到每个尺度对应的匹配候选框的特征图。
特征图融合模块406，用于将所有尺度对应的匹配候选框的特征图融合，得到融合特征图。
蓝莓灰霉病检测模块407，用于将所述融合特征图输入图像分类层，输出蓝莓灰霉病检测结果；所述蓝莓灰霉病检测结果中包括每个检测类别的概率和检测框；所述检测类别包括：健康的蓝莓花朵、健康的蓝莓果实、感染灰霉病的蓝莓花朵和感染灰霉病的蓝莓果实。
作为另一实施例，本发明基于深度学习目标检测算法的蓝莓灰霉病检测系统中，所述初步特征图像获取模块402，具体包括：
输入单元，用于将所述蓝莓图像输入所述ResNet-50深度学习网络；所述ResNet-50深度学习网络包括2个第一残差学习模块、3个第二残差学习模块、5个第三残差学习模块和2个第四残差学习模块；所述第一残差学习模块、所述第二残差学习模块、所述第三残差学习模块和所述第四残差学习模块中的卷积滤波器参数不同。
第一尺度初步特征图像生成单元，用于所述蓝莓图像经过所述2个第一残差学习模块后，生成第一尺度的初步特征图像。
第二尺度初步特征图像生成单元，用于所述第一尺度的初步特征图像经过所述3个第二残差学习模块后，生成第二尺度的初步特征图像。
第三尺度初步特征图像生成单元，用于所述第二尺度的初步特征图像经过所述5个第三残差学习模块后，生成第三尺度的初步特征图像。
第四尺度初步特征图像生成单元，用于所述第三尺度的初步特征图像经过所述2个第四残差学习模块后，生成第四尺度的初步特征图像。
作为另一实施例，本发明基于深度学习目标检测算法的蓝莓灰霉病检测系统中，所述新特征图像获取模块403，具体包括：
第四尺度新的特征图像P4生成单元，用于将第四尺度的初步特征图像C4通过第四卷积层生成第四尺度新的特征图像P4；所述多尺度的初步特征图像包括第一尺度的初步特征图像C1、第二尺度的初步特征图像C2、第三尺度的初步特征图像C3和第四尺度的初步特征图像C4。
第五特征图像生成单元，用于将第四尺度新的特征图像P4通过池化层生成第五特征图像P5。
第三尺度新的特征图像P3生成单元，用于将第三尺度的初步特征图像C3通过第三卷积层生成新的特征图像C3-2；将第四尺度新的特征图像P4通过2倍的上采样生成与新的特征图像C3-2相同尺寸的特征图像，并与新的特征图像C3-2叠加生成第三尺度新的特征图像P3。
第二尺度新的特征图像P2生成单元，用于将第二尺度的初步特征图像C2通过第二卷积层生成新的特征图像C2-2；将第三尺度新的特征图P3通过2倍的上采样生成与新的特征图像C2-2相同尺寸的特征图像，并与新的特征图像C2-2叠加生成第二尺度新的特征图像P2。
第一尺度新的特征图像P1生成单元，用于将第一尺度的初步特征图像C1通过第一卷积层生成新的特征图像C1-2；将第二尺度新的特征图像P2通过2倍的上采样生成与新的特征图像C1-2相同尺寸的特征图像，并与新的特征图像C1-2叠加生成第一尺度新的特征图像P1；所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层的参数相同。
新特征图像生成单元，用于将所述第四尺度新的特征图像P4、所述第三尺度新的特征图像P3、所述第二尺度新的特征图像P2和所述第一尺度新的特征图像P1分别通过相同的卷积层，生成对应尺度的新特征图像；所述新特征图像包括第四尺度对应的新特征图像P4-1、所述第三尺度对应的新特征图像P3-1、所述第二尺度对应的新特征图像P2-1和所述第一尺度对应的新特征图像P1-1。
作为另一实施例，本发明基于深度学习目标检测算法的蓝莓灰霉病检测系统中，所述全部候选框计算模块404，具体包括：
输入单元，用于将所述第五特征图像P5和每个新特征图像作为输入图像输入所述候选区域生成网络。
目标框建立单元，用于对于每个输入图像，根据所述输入图像的每个像素点来建立目标框，得到带有目标框的输入图像；每个像素点对应多个尺寸的目标框。
目标框类别确定单元，用于将所述带有目标框的输入图像接入第一全连接层，输出每个目标框的区域得分；并将每个目标框的区域得分接入Softmax函数，确定每个目标框的类别；所述目标框的类别包括背景目标框和前景目标框。
目标框坐标位置参数确定单元，用于将所述带有目标框的输入图像接入第二全连接层，输出每个目标框的坐标位置参数；所述目标框的坐标位置参数包括目标框的中心点位置、目标框的宽度和目标框的高度。
目标框集合获取单元，用于依次得到所有输入图像的所有目标框，得到目标框集合。
目标框筛选单元，用于从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框。
作为另一实施例，本发明基于深度学习目标检测算法的蓝莓灰霉病检测系统中，所述目标框筛选单元，具体包括：
第一筛选子单元，用于从所述目标框集合中剔除超出输入图像边界的目标框，得到第一目标框集合。
第二筛选子单元，用于从所述第一目标框集合中剔除长度小于长度阈值和/或宽度小于宽度阈值的目标框，得到第二目标框集合。
第三筛选子单元，用于将所述第二目标框集合中的目标框按照区域得分由高到低排序，筛选前N个目标框，得到第三目标框集合。
第四筛选子单元，用于采用非极大抑制算法从所述第三目标框集合中，剔除重叠度大于设定阈值的目标框，得到第四目标框集合；所述重叠度为所述第三目标框中有重叠区域的两个目标框之间的重叠比例。
第五筛选子单元，用于从所述第四目标框集合中随机筛选M个前景目标框和M个背景目标框，得到全部候选框；其中，2M＜N。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习目标检测算法的蓝莓灰霉病检测方法，其特征在于，包括：
获取蓝莓图片；所述蓝莓图片中包括蓝莓的花朵和/或果实；
采用ResNet-50深度学习网络对所述蓝莓图像进行初步特征提取，得到多尺度的初步特征图像；
利用卷积层和池化层对所述多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像；
利用候选区域生成网络计算全部候选框；所述全部候选框包括多个前景候选框和多个背景候选框；
利用RoIAlign层将所述全部候选框与每个尺度对应的新特征图像上的特征进行匹配，得到每个尺度对应的匹配候选框的特征图；
将所有尺度对应的匹配候选框的特征图融合，得到融合特征图；
将所述融合特征图输入图像分类层，输出蓝莓灰霉病检测结果；所述蓝莓灰霉病检测结果中包括每个检测类别的概率和检测框；所述检测类别包括：健康的蓝莓花朵、健康的蓝莓果实、感染灰霉病的蓝莓花朵和感染灰霉病的蓝莓果实。
2.根据权利要求1所述的基于深度学习目标检测算法的蓝莓灰霉病检测方法，其特征在于，所述采用ResNet-50深度学习网络对所述蓝莓图像进行初步特征提取，得到多尺度的初步特征图像，具体包括：
将所述蓝莓图像输入所述ResNet-50深度学习网络；所述ResNet-50深度学习网络包括2个第一残差学习模块、3个第二残差学习模块、5个第三残差学习模块和2个第四残差学习模块；所述第一残差学习模块、所述第二残差学习模块、所述第三残差学习模块和所述第四残差学习模块中的卷积滤波器参数不同；
所述蓝莓图像经过所述2个第一残差学习模块后，生成第一尺度的初步特征图像；
所述第一尺度的初步特征图像经过所述3个第二残差学习模块后，生成第二尺度的初步特征图像；
所述第二尺度的初步特征图像经过所述5个第三残差学习模块后，生成第三尺度的初步特征图像；
所述第三尺度的初步特征图像经过所述2个第四残差学习模块后，生成第四尺度的初步特征图像。
3.根据权利要求1所述的基于深度学习目标检测算法的蓝莓灰霉病检测方法，其特征在于，所述利用卷积层和池化层对所述多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像，具体包括：
将第四尺度的初步特征图像C4通过第四卷积层生成第四尺度新的特征图像P4；所述多尺度的初步特征图像包括第一尺度的初步特征图像C1、第二尺度的初步特征图像C2、第三尺度的初步特征图像C3和第四尺度的初步特征图像C4；
将第四尺度新的特征图像P4通过池化层生成第五特征图像P5；
将第三尺度的初步特征图像C3通过第三卷积层生成新的特征图像C3-2；将第四尺度新的特征图像P4通过2倍的上采样生成与新的特征图像C3-2相同尺寸的特征图像，并与新的特征图像C3-2叠加生成第三尺度新的特征图像P3；
将第二尺度的初步特征图像C2通过第二卷积层生成新的特征图像C2-2；将第三尺度新的特征图P3通过2倍的上采样生成与新的特征图像C2-2相同尺寸的特征图像，并与新的特征图像C2-2叠加生成第二尺度新的特征图像P2；
将第一尺度的初步特征图像C1通过第一卷积层生成新的特征图像C1-2；将第二尺度新的特征图像P2通过2倍的上采样生成与新的特征图像C1-2相同尺寸的特征图像，并与新的特征图像C1-2叠加生成第一尺度新的特征图像P1；所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层的参数相同；
将所述第四尺度新的特征图像P4、所述第三尺度新的特征图像P3、所述第二尺度新的特征图像P2和所述第一尺度新的特征图像P1分别通过相同的卷积层，生成对应尺度的新特征图像；所述新特征图像包括第四尺度对应的新特征图像P4-1、所述第三尺度对应的新特征图像P3-1、所述第二尺度对应的新特征图像P2-1和所述第一尺度对应的新特征图像P1-1。
4.根据权利要求3所述的基于深度学习目标检测算法的蓝莓灰霉病检测方法，其特征在于，所述利用候选区域生成网络计算全部候选框，具体包括：
将所述第五特征图像P5和每个新特征图像作为输入图像输入所述候选区域生成网络；
对于每个输入图像，根据所述输入图像的每个像素点来建立目标框，得到带有目标框的输入图像；每个像素点对应多个尺寸的目标框；
将所述带有目标框的输入图像接入第一全连接层，输出每个目标框的区域得分；并将每个目标框的区域得分接入Softmax函数，确定每个目标框的类别；所述目标框的类别包括背景目标框和前景目标框；
将所述带有目标框的输入图像接入第二全连接层，输出每个目标框的坐标位置参数；所述目标框的坐标位置参数包括目标框的中心点位置、目标框的宽度和目标框的高度；
依次得到所有输入图像的所有目标框，得到目标框集合；
从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框。
5.根据权利要求4所述的基于深度学习目标检测算法的蓝莓灰霉病检测方法，其特征在于，所述从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框，具体包括：
从所述目标框集合中剔除超出输入图像边界的目标框，得到第一目标框集合；
从所述第一目标框集合中剔除长度小于长度阈值和/或宽度小于宽度阈值的目标框，得到第二目标框集合；
将所述第二目标框集合中的目标框按照区域得分由高到低排序，筛选前N个目标框，得到第三目标框集合；
采用非极大抑制算法从所述第三目标框集合中，剔除重叠度大于设定阈值的目标框，得到第四目标框集合；所述重叠度为所述第三目标框中有重叠区域的两个目标框之间的重叠比例；
从所述第四目标框集合中随机筛选M个前景目标框和M个背景目标框，得到全部候选框；其中，2M＜N。
6.一种基于深度学习目标检测算法的蓝莓灰霉病检测系统，其特征在于，包括：
蓝莓图像获取模块，用于获取蓝莓图片；所述蓝莓图片中包括蓝莓的花朵和/或果实；
初步特征图像获取模块，用于采用ResNet-50深度学习网络对所述蓝莓图像进行初步特征提取，得到多尺度的初步特征图像；
新特征图像获取模块，用于利用卷积层和池化层对所述多尺度的初步特征图像进一步进行特征提取，得到每个尺度的初步特征图像对应的新特征图像；
全部候选框计算模块，用于利用候选区域生成网络计算全部候选框；所述全部候选框包括多个前景候选框和多个背景候选框；
特征匹配模块，用于利用RoIAlign层将所述全部候选框与每个尺度对应的新特征图像上的特征进行匹配，得到每个尺度对应的匹配候选框的特征图；
特征图融合模块，用于将所有尺度对应的匹配候选框的特征图融合，得到融合特征图；
蓝莓灰霉病检测模块，用于将所述融合特征图输入图像分类层，输出蓝莓灰霉病检测结果；所述蓝莓灰霉病检测结果中包括每个检测类别的概率和检测框；所述检测类别包括：健康的蓝莓花朵、健康的蓝莓果实、感染灰霉病的蓝莓花朵和感染灰霉病的蓝莓果实。
7.根据权利要求6所述的基于深度学习目标检测算法的蓝莓灰霉病检测系统，其特征在于，所述初步特征图像获取模块，具体包括：
输入单元，用于将所述蓝莓图像输入所述ResNet-50深度学习网络；所述ResNet-50深度学习网络包括2个第一残差学习模块、3个第二残差学习模块、5个第三残差学习模块和2个第四残差学习模块；所述第一残差学习模块、所述第二残差学习模块、所述第三残差学习模块和所述第四残差学习模块中的卷积滤波器参数不同；
第一尺度初步特征图像生成单元，用于所述蓝莓图像经过所述2个第一残差学习模块后，生成第一尺度的初步特征图像；
第二尺度初步特征图像生成单元，用于所述第一尺度的初步特征图像经过所述3个第二残差学习模块后，生成第二尺度的初步特征图像；
第三尺度初步特征图像生成单元，用于所述第二尺度的初步特征图像经过所述5个第三残差学习模块后，生成第三尺度的初步特征图像；
第四尺度初步特征图像生成单元，用于所述第三尺度的初步特征图像经过所述2个第四残差学习模块后，生成第四尺度的初步特征图像。
8.根据权利要求6所述的基于深度学习目标检测算法的蓝莓灰霉病检测系统，其特征在于，所述新特征图像获取模块，具体包括：
第四尺度新的特征图像P4生成单元，用于将第四尺度的初步特征图像C4通过第四卷积层生成第四尺度新的特征图像P4；所述多尺度的初步特征图像包括第一尺度的初步特征图像C1、第二尺度的初步特征图像C2、第三尺度的初步特征图像C3和第四尺度的初步特征图像C4；
第五特征图像生成单元，用于将第四尺度新的特征图像P4通过池化层生成第五特征图像P5；
第三尺度新的特征图像P3生成单元，用于将第三尺度的初步特征图像C3通过第三卷积层生成新的特征图像C3-2；将第四尺度新的特征图像P4通过2倍的上采样生成与新的特征图像C3-2相同尺寸的特征图像，并与新的特征图像C3-2叠加生成第三尺度新的特征图像P3；
第二尺度新的特征图像P2生成单元，用于将第二尺度的初步特征图像C2通过第二卷积层生成新的特征图像C2-2；将第三尺度新的特征图P3通过2倍的上采样生成与新的特征图像C2-2相同尺寸的特征图像，并与新的特征图像C2-2叠加生成第二尺度新的特征图像P2；
第一尺度新的特征图像P1生成单元，用于将第一尺度的初步特征图像C1通过第一卷积层生成新的特征图像C1-2；将第二尺度新的特征图像P2通过2倍的上采样生成与新的特征图像C1-2相同尺寸的特征图像，并与新的特征图像C1-2叠加生成第一尺度新的特征图像P1；所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层的参数相同；
新特征图像生成单元，用于将所述第四尺度新的特征图像P4、所述第三尺度新的特征图像P3、所述第二尺度新的特征图像P2和所述第一尺度新的特征图像P1分别通过相同的卷积层，生成对应尺度的新特征图像；所述新特征图像包括第四尺度对应的新特征图像P4-1、所述第三尺度对应的新特征图像P3-1、所述第二尺度对应的新特征图像P2-1和所述第一尺度对应的新特征图像P1-1。
9.根据权利要求8所述的基于深度学习目标检测算法的蓝莓灰霉病检测系统，其特征在于，所述全部候选框计算模块，具体包括：
输入单元，用于将所述第五特征图像P5和每个新特征图像作为输入图像输入所述候选区域生成网络；
目标框建立单元，用于对于每个输入图像，根据所述输入图像的每个像素点来建立目标框，得到带有目标框的输入图像；每个像素点对应多个尺寸的目标框；
目标框类别确定单元，用于将所述带有目标框的输入图像接入第一全连接层，输出每个目标框的区域得分；并将每个目标框的区域得分接入Softmax函数，确定每个目标框的类别；所述目标框的类别包括背景目标框和前景目标框；
目标框坐标位置参数确定单元，用于将所述带有目标框的输入图像接入第二全连接层，输出每个目标框的坐标位置参数；所述目标框的坐标位置参数包括目标框的中心点位置、目标框的宽度和目标框的高度；
目标框集合获取单元，用于依次得到所有输入图像的所有目标框，得到目标框集合；
目标框筛选单元，用于从所述目标框集合中筛选多个前景目标框和多个背景目标框，得到所述全部候选框。
10.根据权利要求9所述的基于深度学习目标检测算法的蓝莓灰霉病检测系统，其特征在于，所述目标框筛选单元，具体包括：
第一筛选子单元，用于从所述目标框集合中剔除超出输入图像边界的目标框，得到第一目标框集合；
第二筛选子单元，用于从所述第一目标框集合中剔除长度小于长度阈值和/或宽度小于宽度阈值的目标框，得到第二目标框集合；
第三筛选子单元，用于将所述第二目标框集合中的目标框按照区域得分由高到低排序，筛选前N个目标框，得到第三目标框集合；
第四筛选子单元，用于采用非极大抑制算法从所述第三目标框集合中，剔除重叠度大于设定阈值的目标框，得到第四目标框集合；所述重叠度为所述第三目标框中有重叠区域的两个目标框之间的重叠比例；
第五筛选子单元，用于从所述第四目标框集合中随机筛选M个前景目标框和M个背景目标框，得到全部候选框；其中，2M＜N。
CN202010824752.5A 2020-08-17 2020-08-17 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统 Active CN111967385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010824752.5A CN111967385B (zh) 2020-08-17 2020-08-17 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010824752.5A CN111967385B (zh) 2020-08-17 2020-08-17 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统

Publications (2)

Publication Number Publication Date
CN111967385A CN111967385A (zh) 2020-11-20
CN111967385B true CN111967385B (zh) 2023-11-14

Family

ID=73389510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010824752.5A Active CN111967385B (zh) 2020-08-17 2020-08-17 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统

Country Status (1)

Country Link
CN (1) CN111967385B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017194276A1 (en) * 2016-05-13 2017-11-16 Basf Se System and method for detecting plant diseases
CN108764292A (zh) * 2018-04-27 2018-11-06 北京大学 基于弱监督信息的深度学习图像目标映射及定位方法
CN109816012A (zh) * 2019-01-22 2019-05-28 南京邮电大学 一种融合上下文信息的多尺度目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017194276A1 (en) * 2016-05-13 2017-11-16 Basf Se System and method for detecting plant diseases
CN108764292A (zh) * 2018-04-27 2018-11-06 北京大学 基于弱监督信息的深度学习图像目标映射及定位方法
CN109816012A (zh) * 2019-01-22 2019-05-28 南京邮电大学 一种融合上下文信息的多尺度目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
依据Faster R-CNN的活体植株叶片气孔检测方法;王静涛;宋文龙;李克新;黄建平;贾鹤鸣;;东北林业大学学报(02);全文 *
农业信息成像感知与深度学习应用研究进展;孙红;李松;李民赞;刘豪杰;乔浪;张瑶;;农业机械学报(05);全文 *
基于区域卷积神经网络的农业害虫检测方法;魏杨;毕秀丽;肖斌;;计算机科学(S2);全文 *

Also Published As

Publication number Publication date
CN111967385A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111027547B (zh) 一种针对二维图像中的多尺度多形态目标的自动检测方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN111179229A (zh) 一种基于深度学习的工业ct缺陷检测方法
CN110738697A (zh) 基于深度学习的单目深度估计方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN111814867A (zh) 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN113177565A (zh) 一种基于深度学习的双目视觉位置测量系统及方法
CN114723709A (zh) 隧道病害检测方法、装置和电子设备
CN115049640B (zh) 一种基于深度学习的道路裂缝检测方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN111967385B (zh) 基于深度学习目标检测算法的蓝莓灰霉病检测方法及系统
CN116935369A (zh) 基于计算机视觉的船舶水尺读数方法及系统
CN110910497A (zh) 实现增强现实地图的方法和系统
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN110889418A (zh) 一种气体轮廓识别方法
CN116168328A (zh) 一种甲状腺结节超声检查系统及方法
CN116091793A (zh) 一种基于光流融合的光场显著性检测方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN113177499A (zh) 基于计算机视觉的舌裂纹形状识别方法及识别系统
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant