CN110874835B - 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质 - Google Patents

作物叶部病害抗性鉴定方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN110874835B
CN110874835B CN201911023886.0A CN201911023886A CN110874835B CN 110874835 B CN110874835 B CN 110874835B CN 201911023886 A CN201911023886 A CN 201911023886A CN 110874835 B CN110874835 B CN 110874835B
Authority
CN
China
Prior art keywords
color image
leaf
crop
target
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911023886.0A
Other languages
English (en)
Other versions
CN110874835A (zh
Inventor
王志彬
刘忠强
王开义
潘守慧
王晓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center for Information Technology in Agriculture
Original Assignee
Beijing Research Center for Information Technology in Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center for Information Technology in Agriculture filed Critical Beijing Research Center for Information Technology in Agriculture
Priority to CN201911023886.0A priority Critical patent/CN110874835B/zh
Publication of CN110874835A publication Critical patent/CN110874835A/zh
Application granted granted Critical
Publication of CN110874835B publication Critical patent/CN110874835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

本发明提供一种作物叶部病害抗性鉴定方法、系统、电子设备及存储介质，方法包括：将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像，并提取第二彩色图像中的目标叶片区域；利用深度卷积网络集成方法对目标叶片区域进行病害程度分类；根据目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定作物叶片对应的作物的病害抗性等级。本发明主要利用图像处理、模式识别等技术对获取的作物叶片图像进行预处理、目标叶片提取、病害程度等级分类，进而有效地计算出作物病害抗性等级，为抗病品种的准确筛选提供重要依据。

Description

作物叶部病害抗性鉴定方法、系统、电子设备及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种作物叶部病害抗性鉴定方法、系统、电子设备及存储介质。
背景技术
病害是影响作物产量和质量的一个重要因素，为减少损失，种植和推广抗病品种是防治病害最简单、经济、有效的方法。因此，抗病品种的选育在作物育种中至关重要，而快速、准确、可靠的病害抗性鉴定方法是筛选抗病品种的前提。
目前，在作物病害抗性鉴定这一育种环节，仍然处于传统的人工方法，即育种专家通过目测作物发病部位（例如作物叶片），确定作物病害程度等级，据此判断选育的品种对该病害抗性等级。
这种方法存在鉴定结果依赖育种者的专业技术水平、劳动强度大、鉴定结果主观性强等显著问题，极易导致抗病品种的误选和错选。
为此，迫切需要研究一种稳定性好、鉴定结果准确的作物病害抗性鉴定方法，以期实现作物病害抗性鉴定的信息化、标准化、智能化，从而实现抗病品种的精准选育。
发明内容
为克服上述现有问题或者至少部分地解决上述问题，本发明实施例提供一种作物叶部病害抗性鉴定方法、系统、电子设备及存储介质。
根据本发明实施例的第一方面，提供一种作物叶部病害抗性鉴定方法，包括：
将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像，并提取所述第二彩色图像中的目标叶片区域；
利用深度卷积网络集成方法对所述目标叶片区域进行病害程度分类；
根据所述目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定所述作物叶片对应的作物的病害抗性等级。
在上述技术方案的基础上，本发明还可以作出进一步改进。
进一步的，所述将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域之前还包括：
基于引导滤波的图像增强方法对采集的作物叶片的第一彩色图像进行图像增强预处理，得到作物叶片的第三彩色图像；
相应的，将作物叶片的所述第三彩色图像输入预先训练后的深度网络，标记出所述第三彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像。
进一步的，所述基于引导滤波的图像增强方法对采集的作物叶片的第一彩色图像进行图像增强预处理，得到作物叶片的第三彩色图像包括：
将所述第一彩色图像从RGB颜色空间转换到CIE L*a*b*颜色空间；
利用亮度分布特征计算出细节图像的增强权重
Figure 122540DEST_PATH_IMAGE001
，计算公式如下：
Figure 101997DEST_PATH_IMAGE002
；
其中，
Figure 209630DEST_PATH_IMAGE003
和
Figure 667156DEST_PATH_IMAGE004
分别是亮度空间
Figure 543846DEST_PATH_IMAGE005
内所述第一彩色图像的所 有像素点的亮度值的最大值和平均值，
Figure 163046DEST_PATH_IMAGE006
为固定常数；
利用引导滤波算法对所述第一彩色图像进行平滑处理，将所述第一彩色图像分为 细节图像
Figure 492396DEST_PATH_IMAGE007
和基础图像
Figure 19192DEST_PATH_IMAGE008
；
将加权后的细节图像与所述基础图像进行融合，得到所述第三彩色图像，其中，融合公式如下：
Figure 953650DEST_PATH_IMAGE009
；
其中，
Figure 29839DEST_PATH_IMAGE010
表示所述第三彩色图像。
进一步的，所述提取所述第二彩色图像中的目标叶片区域包括：
基于GrabCut算法的图像分割方法对所述第二彩色图像进行图像分割，提取出所述第二彩色图像中的目标叶片区域。
进一步的，所述基于GrabCut算法的图像分割方法对所述第二彩色图像进行图像分割，提取出所述第二彩色图像中的目标叶片区域包括：
a、对所述第二彩色图像的叶片区域进行面积计算，提取所述第二彩色图像中面积最大的叶片区域，形成第四彩色图像；
b、利用超绿颜色特征，对所述第四彩色图像进行分割，形成第五彩色图像，其中，分割公式为：
Figure 112064DEST_PATH_IMAGE011
其中，
Figure 114655DEST_PATH_IMAGE012
表示第五彩色图像，
Figure 965937DEST_PATH_IMAGE013
表示第四彩色图像，
Figure 458098DEST_PATH_IMAGE014
表示像素点的位置 坐标，
Figure 965303DEST_PATH_IMAGE015
分别表示坐标点像素的三维颜色分量的灰 度值，
Figure 302743DEST_PATH_IMAGE016
分别是
Figure 274110DEST_PATH_IMAGE017
与
Figure 874856DEST_PATH_IMAGE018
，
Figure 669024DEST_PATH_IMAGE019
与
Figure 75734DEST_PATH_IMAGE020
的阈值，其值可根 据实际应用情况进行设定；
c、统计所述第五彩色图像中非0像素点的个数
Figure 839291DEST_PATH_IMAGE021
；
d、对GrabCut算法进行初始化；
e、采用初始化后的GrabCut算法对所述第四彩色图像进行分割，形成分割后的第 七彩色图像，对所述第七彩色图像重复执行步骤b，且统计重复执行步骤b后的第五彩色图 像中非0像素点的个数
Figure 938834DEST_PATH_IMAGE022
；
f、若
Figure 951789DEST_PATH_IMAGE023
，则执行步骤g，并
Figure 99874DEST_PATH_IMAGE024
， 用第七彩色图像更新替换第四彩色图像；否则，执行步骤d、e和f；
其中，
Figure 780254DEST_PATH_IMAGE025
为条件阈值，可根据实际应用情况进行设定，本实施例中，优选
Figure 785119DEST_PATH_IMAGE026
；
g、提取所述第五彩色图像中的前景区域，对于所述前景区域中的空洞像素点，采用所述第二彩色图像中对应位置的像素点的像素值进行填充，得到目标叶片区域。
进一步的，在提取所述第二彩色图像中的目标叶片区域之后还包括：
对所述目标叶片区域进行归一化处理，形成归一化处理后的目标叶片区域。
进一步的，所述对所述目标叶片区域进行归一化处理，形成归一化处理后的目标叶片区域包括：
采用多边形拟合方法，提取所述目标叶片区域的中心点；
以所述目标叶片区域的中心点为内接矩形的中心点，提取所述目标叶片区域的最大内接矩形，形成第六彩色图像；
对于所述第六彩色图像，利用双线性插值方法将其归一化成
Figure 488633DEST_PATH_IMAGE027
大小的图 像，形成所述目标叶片区域，其中
Figure 971567DEST_PATH_IMAGE028
、
Figure 503524DEST_PATH_IMAGE029
分别为所述目标叶片区域的宽度和高度。
进一步的，所述利用深度卷积网络集成方法对所述目标叶片区域进行病害程度分类包括：
选择多个深度卷积神经网络，每一个深度卷积神经网络为一个单分类器，多个分类器构成单分类器集合；
对于多个单分类器，在验证样本集上按照差异性进行排序；
根据排序后的多个单分类器，采用动态选择集成方法对所述目标叶片区域进行病害程度分类。
进一步的，所述对于多个单分类器，在验证样本集上按照差异性进行排序包括：
对于预先训练好的单分类器集合，在验证样本集上，挑选识别率最高的单分类器作为第一位单分类器；
从剩余的单分类器中选择一个单分类器，对于选择的当前单分类器，所述当前单分类器与排序在前的一个单分类器或多个单分类器的组合之间所构成的差异性最大；
遍历所述单分类器集合中的每一个单分类器，得到所述单分类器集合中的每一个单分类器的排序结果。
进一步的，所述根据排序后的多个单分类器，采用动态选择集成方法对所述目标叶片区域进行病害程度分类包括：
从已排序的单分类器集合中选取第一个单分类器对所述目标叶片区域进行识别；
当识别精度满足设定的初始可信度阈值
Figure 944869DEST_PATH_IMAGE030
，则输出识别结果；否则依次选入
Figure 135679DEST_PATH_IMAGE031
个单分类器，保存每一个入选的单分类器对所述目标叶片区域的识别结果
Figure 687883DEST_PATH_IMAGE032
，其中，
Figure 811697DEST_PATH_IMAGE033
为单分类器的编号，所述识别结果为所述目标叶片区域的病害程度分类；
当满足输出条件
Figure 158365DEST_PATH_IMAGE034
时，输出识别结果
Figure 633209DEST_PATH_IMAGE035
，其中，
Figure 723524DEST_PATH_IMAGE036
为识别结果
Figure 170686DEST_PATH_IMAGE035
的各分量中的最大值；若所有分类器都已选入仍不满足输出条件，则对每 次集成时的识别结果
Figure 425606DEST_PATH_IMAGE037
进行投票，其得票最多的类别即为叶部病害程度等级。
根据本发明实施例第二方面提供一种作物叶部病害抗性鉴定系统，包括：
标记模块，用于将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像；
提取模块，用于提取所述第二彩色图像中的目标叶片区域；
分类模块，用于利用深度卷积网络集成方法对所述目标叶片区域进行病害程度分类；
确定模块，用于根据所述目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定所述作物叶片对应的作物的病害抗性等级。
根据本发明实施例的第三个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的作物叶部病害抗性鉴定方法。
根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的作物叶部病害抗性鉴定方法。
本发明实施例提供一种作物叶部病害抗性鉴定方法、系统、电子设备及存储介质，该方法主要利用图像处理、模式识别等技术对获取的作物叶片图像进行预处理、目标叶片提取、病害程度等级分类，进而有效地计算出作物病害抗性等级，为抗病品种的准确筛选提供重要依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的作物叶部病害抗性鉴定方法整体流程示意图；
图2为本发明实施例提供的作物叶部病害抗性鉴定系统整体结构示意图；
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种作物叶部病害抗性鉴定方法，图1为本发明实施例提供的作物叶部病害抗性鉴定方法整体流程示意图，该方法包括：
将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像，并提取所述第二彩色图像中的目标叶片区域；
利用深度卷积网络集成方法对所述目标叶片区域进行病害程度分类；
根据所述目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定所述作物叶片对应的作物的病害抗性等级。
可以理解的是，可以利用图像采集设备采集作物叶片的彩色图像（下称第一彩色图像），将采集的作物叶片的第一彩色图像输入训练后的深度网络，以标记出第一彩色图像中的叶片区域，并提取出叶片区域中的目标叶片区域。利用深度卷积网络集成方法对提取的目标叶片区域进行病害程度分类，最后根据目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定所述作物叶片对应的作物的病害抗性等级。
本发明实施例主要利用图像处理、模式识别等技术对获取的作物叶片图像进行预处理、目标叶片提取、病害程度等级分类，进而有效地计算出作物病害抗性等级，为抗病品种的准确筛选提供重要依据。
在本发明实施例中，其中目标叶片检测采用的深度网络为Faster R-CNN深度网络，常用的算法主要有Light-Head R-CNN、Mask R-CNN、Cascade R-CNN等，具体算法模型的选择可根据实际应用场景确定；
本实施例中，优选Cascade R-CNN算法进行目标叶片的检测；
在对Faster R-CNN深度网络进行训练的过程中，训练步骤为：
建立总数为
Figure 653325DEST_PATH_IMAGE038
个，像素大小为
Figure 281752DEST_PATH_IMAGE039
的作物叶片图像样本，且对每个图像样本均已标注其作物类型；
在公开图像样本集，例如COCO、Leafsnap、PlantVillage等，对构建的深度网络进行预训练，本实施例中，优选PlantVillage数据集进行训练；
对预训练好的Faster R-CNN深度网络，采用迁移学习技术，将其迁移到自建的作物叶片图像样本集进行微调训练，完成Faster R-CNN深度网络的训练。
在上述实施例的基础上，本发明实施例中，将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域之前还包括：
基于引导滤波的图像增强方法对采集的作物叶片的第一彩色图像进行图像增强预处理，得到作物叶片的第三彩色图像；
相应的，将作物叶片的所述第三彩色图像输入预先训练后的深度网络，标记出所述第三彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像。
可以理解的是，在本发明实施例中，在将第一彩色图像输入训练后的深度网络之前，先对第一彩色图像进行图像增强的预处理，具体为采用基于引导滤波的图像增强方法对采集的第一彩色图像进行图像预处理，得到增强后的第三彩色图像，后续才会将图像增强后的第二彩色图像输入训练后的深度网络。本发明实施例先对第一彩色图像进行图像增强处理后再输入深度网络进行叶片区域的标记，标记效果会更好。
在上述实施例的基础上，本发明实施例中，基于引导滤波的图像增强方法对采集的作物叶片的第一彩色图像进行图像增强预处理，得到作物叶片的第三彩色图像包括：
将第一彩色图像从RGB颜色空间转换到CIE L*a*b*颜色空间；
利用亮度分布特征计算出细节图像的增强权重
Figure 849000DEST_PATH_IMAGE040
，计算公式如下：
Figure 271891DEST_PATH_IMAGE041
；
其中，
Figure 986906DEST_PATH_IMAGE042
和
Figure 622287DEST_PATH_IMAGE043
分别是亮度空间
Figure 575199DEST_PATH_IMAGE044
内所述第一彩色图像的所 有像素点的亮度值的最大值和平均值，
Figure 700150DEST_PATH_IMAGE045
为固定常数，其值可根据具体应用场景确定，本 实施例中，优选
Figure 368373DEST_PATH_IMAGE046
；
利用引导滤波算法对第一彩色图像进行平滑处理，将第一彩色图像分为细节图像
Figure 73024DEST_PATH_IMAGE007
和基础图像
Figure 146022DEST_PATH_IMAGE047
；
将加权后的细节图像与基础图像进行融合，得到所述第三彩色图像，其中，融合公式如下：
Figure 379557DEST_PATH_IMAGE048
其中，
Figure 538006DEST_PATH_IMAGE049
表示所述第三彩色图像。
在上述实施例的基础上，本发明实施例中，提取所述第二彩色图像中的目标叶片区域包括：
基于GrabCut算法的图像分割方法对第二彩色图像进行图像分割，提取出所述第二彩色图像中的目标叶片区域。
可以理解的是，将采集的作物叶片的原始的第一彩色图像进行图像增强，得到图像增强后的第三彩色图像，然后将第三彩色图像输入训练后的深度网络，对第三彩色图像中的叶片区域进行标记，得到带有叶片区域标记的第二彩色图像，即第二彩色图像中携带有叶片区域的标记，本发明实施例需要将第二彩色图像中的叶片区域提取出来，得到目标叶片区域。具体的，采用基于GrabCut算法的图像分割方法对第二彩色图像进行分割，提取出第二彩色图像中的目标叶片区域。
在上述各实施例的基础上，基于GrabCut算法的图像分割方法对第二彩色图像进行图像分割，提取出第二彩色图像中的目标叶片区域包括：
a、对第二彩色图像的叶片区域进行面积计算，提取第二彩色图像中面积最大的叶片区域，形成第四彩色图像；
b、利用超绿颜色特征，对第四彩色图像进行分割，形成第五彩色图像，其中，分割公式为：
Figure 577506DEST_PATH_IMAGE050
其中，
Figure 505011DEST_PATH_IMAGE051
表示第五彩色图像，
Figure 909448DEST_PATH_IMAGE052
表示第四彩色图像，
Figure 820772DEST_PATH_IMAGE053
表示第四彩色图像 中像素点的位置坐标，
Figure 336067DEST_PATH_IMAGE054
分别表示坐标点像素 的三维颜色分量的灰度值，
Figure 652166DEST_PATH_IMAGE055
分别是
Figure 227504DEST_PATH_IMAGE017
与
Figure 360545DEST_PATH_IMAGE056
，
Figure 741848DEST_PATH_IMAGE057
与
Figure 847207DEST_PATH_IMAGE058
的阈值，其值可根据实际应用情况进行设定；
本实施例中，优选
Figure 655763DEST_PATH_IMAGE059
；
c、统计所述第五彩色图像中非0像素点的个数
Figure 10521DEST_PATH_IMAGE060
；
d、对GrabCut算法进行初始化；
e、采用初始化后的GrabCut算法对所述第四彩色图像进行分割，形成分割后的第 七彩色图像，对所述第七彩色图像重复执行步骤b，且统计重复执行步骤b后的第五彩色图 像中非0像素点的个数
Figure 133198DEST_PATH_IMAGE061
；
f、若
Figure 889801DEST_PATH_IMAGE062
，则执行步骤g，并
Figure 866329DEST_PATH_IMAGE063
，用 第七彩色图像更新替换第四彩色图像；否则，执行步骤d、e和f；
其中，
Figure 973962DEST_PATH_IMAGE064
为条件阈值，可根据实际应用情况进行设定，本实施例中，优选
Figure 634751DEST_PATH_IMAGE065
；
g、提取第五彩色图像中的前景区域，对于前景区域中的空洞像素点（即进行二值处理后，前景区域中像素值为0的像素点称为空洞像素点），采用第二彩色图像中对应位置的像素点的像素值进行填充，得到目标叶片区域，其中，本发明实施例中所称的目标叶片区域为包含病斑区域的叶片区域，即从作物叶片中提取出包括病斑的区域，后续通过对病斑区域的分析处理，来确定作物叶片的病害程度分类。
在本发明实施例中，对GrabCut算法进行初始化包括如下步骤：
在第五彩色图像中，随机选择
Figure 511440DEST_PATH_IMAGE066
个值为非0像素点所在第四彩色图像中的像素点 作为GrabCut算法前景区域的初始值，
Figure 661798DEST_PATH_IMAGE067
的值可根据实际应用设定；本实施例，优选
Figure 194411DEST_PATH_IMAGE068
；
在第五彩色图像中，随机选择
Figure 721207DEST_PATH_IMAGE066
个值为0像素点所在第四彩色图像中的像素点作 为GrabCut算法背景区域的初始值，
Figure 186824DEST_PATH_IMAGE069
的值可根据实际应用设定；本实施例，优选
Figure 711346DEST_PATH_IMAGE070
；
在第五彩色图像中，将第五彩色图像的边界位置作为GrabCut算法的初始分割区。
在上述各实施例的基础上，本发明实施例中，在提取第二彩色图像中的目标叶片区域之后还包括：
对目标叶片区域进行归一化处理，形成归一化处理后的目标叶片区域。
在上述各实施例的基础上，本发明实施例中，对目标叶片区域进行归一化处理，形成归一化处理后的目标叶片区域包括：
采用多边形拟合方法，提取目标叶片区域的中心点；
以目标叶片区域的中心点为内接矩形的中心点，提取目标叶片区域的最大内接矩形，形成第六彩色图像；
对于第六彩色图像，利用双线性插值方法将其归一化成
Figure 996834DEST_PATH_IMAGE071
大小的图像，形 成目标叶片区域，其中
Figure 799092DEST_PATH_IMAGE072
、
Figure 384794DEST_PATH_IMAGE073
分别为目标叶片区域的宽度和高度，其单位为像素，其值与 训练样本中作物叶片图像的行数与列数相同，本实施例，优选
Figure 142535DEST_PATH_IMAGE074
。
在上述各实施例的基础上，本发明实施例中，利用深度卷积网络集成方法对目标叶片区域进行病害程度分类包括：
选择多个深度卷积神经网络，每一个深度卷积神经网络为一个单分类器，多个分类器构成单分类器集合；
对于多个单分类器，在验证样本集上按照差异性进行排序；
根据排序后的多个单分类器，采用动态选择集成方法对所述目标叶片区域进行病害程度分类。
可以理解的是，本发明实施例可以选择多种类型的卷积神经网络，对于每一种深度卷积神经网络，均需要预先进行训练，训练过程为：
建立总数为
Figure 384160DEST_PATH_IMAGE075
个，大小为
Figure 252759DEST_PATH_IMAGE076
的作物叶片图 像样本，且对每个图像样本均已标注病害程度及其作物类型；其中，在本发明实施例中，优 选
Figure 958547DEST_PATH_IMAGE077
。
在公开图像样本集，例如ImageNet、Plant Village等，对构建的深度卷积神经网络进行预训练；其中，本实施例中，优选在ImageNet数据集上预训练；
对预训练好的深度卷积神经网络，采用迁移学习技术，将其迁移到自建的作物叶片病害程度样本集进行微调训练，完成深度网络模型的训练。
在上述各实施例的基础上，本发明实施例中，对于多个单分类器，在验证样本集上按照差异性进行排序包括：
对于预先训练好的单分类器集合，在验证样本集上，挑选识别率最高的单分类器作为第一位单分类器；
从剩余的单分类器中选择一个单分类器，对于选择的当前单分类器，当前单分类器与排序在前的一个单分类器或多个单分类器的组合之间所构成的差异性最大；
遍历单分类器集合中的每一个单分类器，得到单分类器集合中的每一个单分类器的排序结果。
在本发明实施例中，单分类器的数量优选11个，优选ResNet-34、ResNet-50、 ResNet-100，Densenet-29、Densenet-53、Densenet-121，Inception-V3、Inception-V4， AlexNet，VGGNet-16、VGGNet-19组成单分类器集合。分类器差异性的度量方法优选
Figure 356030DEST_PATH_IMAGE078
统计 方法。
在上述各实施例的基础上，本发明实施例中，所述根据排序后的多个单分类器，采用动态选择集成方法对所述目标叶片区域进行病害程度分类包括：
从已排序的单分类器集合中选取第一个单分类器对所述目标叶片区域进行识别；
当识别精度满足设定的初始可信度阈值
Figure 616110DEST_PATH_IMAGE079
，则输出识别结果；否则依次选入
Figure 960504DEST_PATH_IMAGE080
个单分类器，保存每一个入选的单分类器对所述目标叶片区域的识别结果
Figure 520798DEST_PATH_IMAGE035
，其中，
Figure 109691DEST_PATH_IMAGE081
为单分类器的编号，所述识别结果为所述目标叶片区域的病害程度分类，其 中在本发明实施例中，优选
Figure 653804DEST_PATH_IMAGE082
；
当满足输出条件
Figure 801889DEST_PATH_IMAGE083
时，输出识别结果
Figure 482269DEST_PATH_IMAGE037
，其中，
Figure 487134DEST_PATH_IMAGE084
为 识别结果
Figure 987386DEST_PATH_IMAGE085
的各分量中的最大值；若所有分类器都已选入仍不满足输出条件，则对每次 集成时的识别结果
Figure 470320DEST_PATH_IMAGE035
进行投票，其得票最多的类别即为叶部病害程度等级。
最后，可以根据作物多幅叶片的病害程度，按照该类作物病害抗性鉴定规程计算该类作物病害抗性等级。
本实施例中，以黄瓜霜霉病叶片为例，黄瓜霜霉病叶片病害程度可以分为六个病害等级，分别为：0、1、3、5、7、9，根据每个叶片的病害程度等级以及多个叶片的分类结果，据此可计算出某一育种区域内该作物的病情指数，根据病情指数的范围，可据此判断该作物对该种病害的抗性等级，例如高抗、抗病、中抗、感病、高感，其中的一种。
本实施例中，病情指数计算公式如下，
Figure 208468DEST_PATH_IMAGE086
；
其中，
Figure 384235DEST_PATH_IMAGE087
为病情指数，
Figure 577974DEST_PATH_IMAGE088
为各病情级别代表数值，
Figure 864599DEST_PATH_IMAGE089
为各病情级别病叶数，
Figure 519571DEST_PATH_IMAGE090
为调查总叶数，
Figure 866239DEST_PATH_IMAGE091
为最高病情级别代表值。
本实施例中，黄瓜病害抗性等级范围，
高抗，
Figure 809924DEST_PATH_IMAGE092
；
抗病，
Figure 634661DEST_PATH_IMAGE093
；
中抗，
Figure 81823DEST_PATH_IMAGE094
；
感病，
Figure 864971DEST_PATH_IMAGE095
；
高感，
Figure 30373DEST_PATH_IMAGE096
。
具体地，不同作物及不同病害抗性鉴定的标准不同，可根据实际应用情况相关抗性鉴定规程，具体设定相应的计算公式。
在本发明的另一个实施例中提供一种作物叶部病害抗性鉴定系统，该系统用于实现前述各实施例中的方法。因此，在前述作物叶部病害抗性鉴定方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的作物叶部病害抗性鉴定系统整体结构示意图，该系统包括：
标记模块21，用于将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像；
提取模块22，用于提取所述第二彩色图像中的目标叶片区域；
分类模块23，用于利用深度卷积网络集成方法对所述目标叶片区域进行病害程度分类；
确定模块24，用于根据所述目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定所述作物叶片对应的作物的病害抗性等级。
需要说明的是，本发明实施例提供的作物叶部病害抗性鉴定系统与前述各实施例提供的作物叶部病害抗性鉴定方法相对应，作物叶部病害抗性鉴定系统的相关技术特征可以参考前述各实施例提供的作物叶部病害抗性鉴定方法的相关技术特征，在此不再赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)01、通信接口(Communications Interface)03、存储器(memory)02和通信总线04，其中，处理器01，通信接口03，存储器02通过通信总线04完成相互间的通信。处理器01可以调用存储器02中的逻辑指令，以执行如下方法：将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像，并提取第二彩色图像中的目标叶片区域；利用深度卷积网络集成方法对目标叶片区域进行病害程度分类；根据目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定作物叶片对应的作物的病害抗性等级。
此外，上述的存储器02中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像，并提取第二彩色图像中的目标叶片区域；利用深度卷积网络集成方法对目标叶片区域进行病害程度分类；根据目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定作物叶片对应的作物的病害抗性等级。
本发明实施例提供的一种作物叶部病害抗性鉴定方法、系统、电子设备及存储介质，具有如下优点：
（1）实现了作物叶部病害抗性的快速、准确的鉴定，克服了已有技术存在诊断不准确、操作不便等问题；
（2）在识别过程中，可根据作物的种类及相关病害抗性鉴定标准的不同，衍生出相应的病害抗性鉴定计算方法，而且，抗性鉴定结果准确度高、可靠性强，有利地促进了作物病害抗性鉴定的信息化、标准化、智能化，从而实现抗病品种的精准选育；
（3）该方法具有速度快、连续性强、便于田间育种工作中的作物病害抗性鉴定，还能够应用于智能手机等移动终端以及相应的商业化育种软件，适合田间操作，拓宽了该方法的应用范围。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种作物叶部病害抗性鉴定方法，其特征在于，包括：
将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像，并提取所述第二彩色图像中的目标叶片区域；
利用深度卷积网络集成方法对所述目标叶片区域进行病害程度分类；
根据所述目标叶片区域的病害程度以及相应作物病害的抗性分类标准，确定所述作物叶片对应的作物的病害抗性等级；
提取所述第二彩色图像中的目标叶片区域，包括：
a、对所述第二彩色图像的叶片区域进行面积计算，提取所述第二彩色图像中面积最大的叶片区域，形成第四彩色图像；
b、利用超绿颜色特征，对所述第四彩色图像进行分割，形成第五彩色图像，其中，分割公式为：
Figure FDA0003748707830000011
其中，I5表示第五彩色图像，I4表示第四彩色图像，(x,y)表示像素点的位置坐标，R(x,y)、G(x,y)、B(x,y)分别表示坐标点像素的三维颜色分量的灰度值，θ1、θ2分别是G(x,y)与R(x,y)，G(x,y)与B(x,y)的阈值，其值可根据实际应用情况进行设定；
c、统计所述第五彩色图像中非0像素点的个数Num1；
d、对GrabCut算法进行初始化；
e、采用初始化后的GrabCut算法对所述第四彩色图像进行分割，形成分割后的第七彩色图像，对所述第七彩色图像重复执行步骤b，且统计重复执行步骤b后的第五彩色图像中非0像素点的个数Num2；
f、若|(Num2)-(Num1)|≤θ3，则执行步骤g，并Num1＝Num2，用第七彩色图像更新替换第四彩色图像；否则，执行步骤d、e和f；
其中，θ3为条件阈值；
g、提取所述第五彩色图像中的前景区域，对于所述前景区域中的空洞像素点，采用所述第二彩色图像中对应位置的像素点的像素值进行填充，得到目标叶片区域。
2.根据权利要求1所述的作物叶部病害抗性鉴定方法，其特征在于，所述将采集的作物叶片的第一彩色图像输入预先训练后的深度网络，标记出所述第一彩色图像的叶片区域之前还包括：
基于引导滤波的图像增强方法对采集的作物叶片的第一彩色图像进行图像增强预处理，得到作物叶片的第三彩色图像；
相应的，将作物叶片的所述第三彩色图像输入预先训练后的深度网络，标记出所述第三彩色图像的叶片区域，形成标记有叶片区域的第二彩色图像。
3.根据权利要求2所述的作物叶部病害抗性鉴定方法，其特征在于，所述基于引导滤波的图像增强方法对采集的作物叶片的第一彩色图像进行图像增强预处理，得到作物叶片的第三彩色图像包括：
将所述第一彩色图像从RGB颜色空间转换到CIE L*a*b*颜色空间；
利用亮度分布特征计算出细节图像的增强权重w，计算公式如下：
Figure FDA0003748707830000021
其中，
Figure FDA0003748707830000022
和
Figure FDA0003748707830000023
分别是亮度空间L*内所述第一彩色图像的所有像素点的亮度值的最大值和平均值，δ为固定常数；
利用引导滤波算法对所述第一彩色图像进行平滑处理，将所述第一彩色图像分为细节图像d和基础图像q；
将加权后的细节图像与所述基础图像进行融合，得到所述第三彩色图像，其中，融合公式如下：
I3＝w×d+q；
其中，I3表示所述第三彩色图像。
4.根据权利要求1所述的作物叶部病害抗性鉴定方法，其特征在于，在提取所述第二彩色图像中的目标叶片区域之后还包括：
对所述目标叶片区域进行归一化处理，形成归一化处理后的目标叶片区域。
5.根据权利要求4所述的作物叶部病害抗性鉴定方法，其特征在于，所述对所述目标叶片区域进行归一化处理，形成归一化处理后的目标叶片区域包括：
采用多边形拟合方法，提取所述目标叶片区域的中心点；
以所述目标叶片区域的中心点为内接矩形的中心点，提取所述目标叶片区域的最大内接矩形，形成第六彩色图像；
对于所述第六彩色图像，利用双线性插值方法将其归一化成m×n大小的图像，形成归一化处理后的目标叶片区域，其中m、n分别为所述目标叶片区域的宽度和高度。
6.根据权利要求1所述的作物叶部病害抗性鉴定方法，其特征在于，所述利用深度卷积网络集成方法对所述目标叶片区域进行病害程度分类包括：
选择多个深度卷积神经网络，每一个深度卷积神经网络为一个单分类器，多个分类器构成单分类器集合；
对于多个单分类器，在验证样本集上按照差异性进行排序；
根据排序后的多个单分类器，采用动态选择集成方法对所述目标叶片区域进行病害程度分类。
7.根据权利要求6所述的作物叶部病害抗性鉴定方法，其特征在于，所述对于多个单分类器，在验证样本集上按照差异性进行排序包括：
对于预先训练好的单分类器集合，在验证样本集上，挑选识别率最高的单分类器作为第一位单分类器；
从剩余的单分类器中选择一个单分类器，对于选择的当前单分类器，所述当前单分类器与排序在前的一个单分类器或多个单分类器的组合之间所构成的差异性最大；
遍历所述单分类器集合中的每一个单分类器，得到所述单分类器集合中的每一个单分类器的排序结果。
8.根据权利要求7所述的作物叶部病害抗性鉴定方法，其特征在于，所述根据排序后的多个单分类器，采用动态选择集成方法对所述目标叶片区域进行病害程度分类包括：
从已排序的单分类器集合中选取第一个单分类器对所述目标叶片区域进行识别；
当识别精度满足设定的初始可信度阈值
Figure FDA0003748707830000041
则输出识别结果；否则依次选入k个单分类器，保存每一个入选的单分类器对所述目标叶片区域的识别结果Rk，其中，k≥2，k为单分类器的编号，所述识别结果为所述目标叶片区域的病害程度分类；
当满足输出条件
Figure FDA0003748707830000042
时，输出识别结果Rk，其中，Skmax为识别结果Rk的各分量中的最大值；若所有分类器都已选入仍不满足输出条件，则对每次集成时的识别结果Rk进行投票，其得票最多的类别即为叶部病害程度等级。
CN201911023886.0A 2019-10-25 2019-10-25 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质 Active CN110874835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023886.0A CN110874835B (zh) 2019-10-25 2019-10-25 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023886.0A CN110874835B (zh) 2019-10-25 2019-10-25 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110874835A CN110874835A (zh) 2020-03-10
CN110874835B true CN110874835B (zh) 2022-09-16

Family

ID=69718025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023886.0A Active CN110874835B (zh) 2019-10-25 2019-10-25 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110874835B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116598A (zh) * 2020-08-04 2020-12-22 北京农业信息技术研究中心 一种花卉种类识别方法及系统
CN112733958A (zh) * 2021-01-22 2021-04-30 北京农业信息技术研究中心 一种温室臭氧浓度控制方法及系统
CN113989509B (zh) * 2021-12-27 2022-03-04 衡水学院 基于图像识别的农作物虫害检测方法、检测系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
CN107368847A (zh) * 2017-06-26 2017-11-21 北京农业信息技术研究中心 一种作物叶部病害识别方法及系统
CN108510450A (zh) * 2018-02-07 2018-09-07 北京农业信息技术研究中心 一种作物叶片图像的光照处理方法及装置
CN109146948A (zh) * 2018-07-27 2019-01-04 内蒙古大学 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN109308697A (zh) * 2018-09-18 2019-02-05 安徽工业大学 一种基于机器学习算法的树叶病害识别方法
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
CN107368847A (zh) * 2017-06-26 2017-11-21 北京农业信息技术研究中心 一种作物叶部病害识别方法及系统
CN108510450A (zh) * 2018-02-07 2018-09-07 北京农业信息技术研究中心 一种作物叶片图像的光照处理方法及装置
CN109146948A (zh) * 2018-07-27 2019-01-04 内蒙古大学 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN109308697A (zh) * 2018-09-18 2019-02-05 安徽工业大学 一种基于机器学习算法的树叶病害识别方法

Also Published As

Publication number Publication date
CN110874835A (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
CN111860533B (zh) 图像的识别方法及装置、存储介质和电子装置
CN107133616B (zh) 一种基于深度学习的无分割字符定位与识别方法
CN108171104B (zh) 一种文字检测方法及装置
CN110874835B (zh) 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质
CN110110715A (zh) 文本检测模型训练方法、文本区域、内容确定方法和装置
CN106340016B (zh) 一种基于细胞显微镜图像的dna定量分析方法
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN112215790A (zh) 基于深度学习的ki67指数分析方法
CN108268823A (zh) 目标再识别方法和装置
CN111476280A (zh) 植物叶片识别方法及系统
CN112819821B (zh) 一种细胞核图像检测方法
CN106803257A (zh) 一种作物病害叶片图像中病斑的分割方法
CN106372624A (zh) 人脸识别方法及系统
CN109409227A (zh) 一种基于多通道cnn的手指静脉图质量评估方法及其装置
CN112101300A (zh) 药材识别方法、装置及电子设备
CN111401343B (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN111723749A (zh) 一种安全帽佩戴识别方法、系统及设备
CN109993187A (zh) 一种用于识别物体类别的建模方法、机器人及存储装置
Marzan et al. Automated tobacco grading using image processing techniques and a convolutional neural network
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN114882306A (zh) 地形图比例尺鉴别方法、装置、存储介质及电子设备
CN111738310B (zh) 物料分类方法、装置、电子设备和存储介质
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN116416523A (zh) 一种基于机器学习的水稻生长阶段的识别系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant