CN110148120A - 一种基于cnn与迁移学习的病害智能识别方法及系统 - Google Patents
一种基于cnn与迁移学习的病害智能识别方法及系统 Download PDFInfo
- Publication number
- CN110148120A CN110148120A CN201910383381.9A CN201910383381A CN110148120A CN 110148120 A CN110148120 A CN 110148120A CN 201910383381 A CN201910383381 A CN 201910383381A CN 110148120 A CN110148120 A CN 110148120A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- disease
- plant
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于CNN与迁移学习的病害智能识别方法及系统,其能够降低图片背景的干扰,能够在有限样本数量下实现较高的识别精准度,并且支持训练样本多分类运行效率更高,病害图像识别方法包括如下步骤:图像预处理,将图像大小归一化,然后利用Faster‑RCNN快速定位病症区域,排出背景干扰;图像特征提取,采用triplet相似性度量模型提取图像特征,然后采用SIFT特征作为补偿特征做加权融合;病害分类识别,采用深度卷积神经网络学习正常植物图像的第一图像特征,再使用迁移学习进行病害植物图像的第二图像特征学习,最后结合第一图像特征和第二图像特征进行分类识别。
Description
技术领域
本发明涉及智能识别领域,具体而言,涉及一种基于CNN与迁移学习的病害智能识别方法及系统。
背景技术
目前,计算机视觉领域可用于识别的技术较多,其中最常用于农业领域的两类即基于图像形态学的OpenCV视觉算法库和SVM支持向量机。
OpenCV视觉算法是从病害图形的颜色和形状特征入手,在可见光范围内对病害特征提取,再根据特征对图像分类处理实现诊断。此类方法对病害图像质量要求极高,且不同的光照、背景会对识别结果产生影响,该方法识别精确度,抗噪能力弱,对病害图像检测的普适性较差。
SVM支持向量机基于深度学习技术原理,可对图像样本训练实现特征提取,达到分类识别的目的。该方法存在两方面缺点:(1)该方法是借助二次规划来求解支持向量,当样本个数较大时该矩阵的求解过程会占用大量的运行内存和运算时间,运算性能差。(2)经典的支持向量机算法只给出了二类分类的算法,而在农业领域的病害识别应用中,一般要解决多类的分类问题,经典的SVM算法需要与其他算法组合才能实现多分类的问题,增加了模型复杂程度和开发成本。
发明内容
本发明的目的在于针对现有技术存在的缺陷,提供一种基于CNN与迁移学习的病害智能识别方法及系统,其能够降低图片背景的干扰,能够在有限样本数量下实现较高的识别精准度,并且支持训练样本多分类运行效率更高。
本发明的实施例是这样实现的:
一种基于CNN与迁移学习的病害智能识别方法,该智能识别方法包括病害图像识别方法,病害图像识别方法包括如下步骤:
S1:图像预处理,将获取的植物图片进行图像二值化和图像大小归一化,然后利用Faster-RCNN多目标检测算法快速定位病症区域,排出背景干扰;植物图片包括正常植物图像和病害植物图像;
S2:图像特征提取,采用triplet相似性度量模型提取植物图片特征,然后采用SIFT特征作为补偿特征做加权融合;
S3:病害分类识别,采用深度卷积神经网络模型对病害进行多分类识别,其包括如下步骤:
S31:构建并训练第一卷积神经网络模型;
S32:将训练得到的第一卷积神经网络模型训练正常植物图像并形成模型参数;
S33:将模型参数迁移至新的卷积神经网络模型,得到第二卷积神经网络模型;
S34:利用第二卷积神经网络模型训练需要识别的病害植物图像,并通过Softmax对图像进行标签分类;卷积神经网络模型包括第一第一卷积神经网络模型和第二卷积神经网络模型,卷积神经网络模型包括卷积层、全连接层和病虫害分类层。
在本发明的较佳实施例中,上述卷积神经网络模型包括5层卷积层、2层全连接层和病虫害分类层,病虫害分类层包括Softmax分类器,Softmax分类器的每一类都分别对应一个植物病害。
在本发明的较佳实施例中,上述S31还包括如下步骤:将训练好的第一卷积神经网络初始化各个卷积层和全连接层的网络参数,采用高斯分布随机初始化病虫害分类层的神经元参数,最后使用病害数据集再次训练整个第一卷积神经网络模型。
在本发明的较佳实施例中,上述在S3中采用BP算法训练整个卷积神经网络,训练过程包括信息的正向传播和误差的反向传播。
在本发明的较佳实施例中,上述信息的正向传播的处理方式包括如下步骤:从训练样本中选取一批植物样本{(x1,Y1),(x2,Y2),...,(xm,Ym)},其中xi是植物样本图像,Yi是植物样本对应的植物病害类别;将正常植物样本图像的RGB像素值线性排列作为输入,通过当层的网络参数和前一层的第一输出计算出当层的第二输出,第二输出作为下一层的输入,依次逐层计算直至输出植物病害的多分类标签。
在本发明的较佳实施例中,上述误差的反向传播的处理方式包括如下步骤:
Softmax分类器的损失函数公式如下:
其中为m训练样本的个数、k为该属性分类器类别数、1{·}为示性函数,θi和θj为模型参数,x为输入样本数,计算出输出层误差后,将其反向回传到前几层更新参数;
若下层时池化层,其误差值δj的公式如下:其中第l层为卷积层,第l+1层为池化层,并且池化层的误差是δj+1,卷积层和上采样后的池化层节点对应,函数表示第l层的第j节点对应的激活函数的导数;
若下层是卷积层,本层池化层第j个通道的误差计算方式为:
其中本层池化层有N个特征图,卷积层有M个卷积核,卷积层和池化层分别为l,l+1层,卷积层中每个卷积核都有与之对应的误差项,从而通过当前网络权值和学习率更新参数。
在本发明的较佳实施例中,上述triplet相似性度量模型提取植物图片特征的操作方法如下:
S21:根据公式:中的约束条件构建三元组其中threshold表示特定阈值,为参考样本的第一图像特征,为与参考样本同一类的第二图像特征,为与参考样本不同类的第三图像特征;参考样本从训练数据中随机选取得到;
S22:将训练集整理成的三元组形式,其中表示植物的第一拍照图,表示该植物的第二拍照图,表示随机选取的与该植物不同的其他植物图片;
S23:将训练集输入网络,上面网络的输入是和下面的网络输入是经过卷积-池化等运算最终传递到最后一层全连接层,对应提取出的特征为上下两个网络全连接层再一起输入到Triplet loss损失函数中,计算残差并同时调整两个网络的参数。
在本发明的较佳实施例中,上述加权融合的操作步骤包括:在空间尺度中寻找极值点,提取极值点的位置、尺度和旋转不变量,将极值点作为特征点进行特征匹配。
本发明还提供一种基于CNN与迁移学习的病害智能识别系统,该植物病害智能识别系统包括服务层、控制层和计算存储层;服务层将结果可视化提供给用户;控制层负责网站后端各个功能模块的调度;计算存储层包括视频图像数据处理模块、HDFS数据存储模块、深度学习计算模块和数据库模块,视频数据处理模块进行图像预处理,然后将数据存入HDFS数据存储模块中,深度学习计算模块从HDFS数据存储模块中读取数据并进行训练,然后将训练好的模型导入到数据库模块中,完成植物病害识别。
在本发明的较佳实施例中,上述植物病害智能识别系统基于MapReduce计算框架,采用离线批处理、在线实时处理和流式计算方法;离线批处理通过离线批处理通过GPU计算,将识别后的离线图像数据写入HBase或者MySQL对外提供查询服务;在线实时处理和流式计算方法用于实时处理图像数据,处理完成后将识别结果保存到数据库模块并将实时计算的识别结果通过服务层的API直接提供给服务请求方。
本发明实施例的有益效果是:
(1)本病害识别方法和系统对图像质量要求低,可靠性强。传统的OpenCV拥有丰富的视觉算法函数库,但在解决农业病害图形识别时对图像的要求极高,容易受光照、背景等环境干扰影响识别精度。本系统所采用的Triplet相似性度量模型可有效提高特征识别率,通过卷积神经网络训练模型,使系统对不同像素的病害图像都可识别,具有较好的普适性,对背景的干扰降低,可靠性更强。
(2)本病害识别方法和系统的运算速度更快、运行效率高。传统的SVM支持向量机模型在训练样本数量较大时运算速度慢,而本系统采用CNN深度卷积神经网络模型,模型训练时系统从HDFS读取图像数据并从SQL中获取对应像素点标签,通过分布式计算平台快速迭代训练。模型训练好后导入当前模型数据库,实现植物病虫害识别功能。在该模式下本地判断一张图像病害类别可在3秒内完成。
(3)本病害识别方法和系统能够在有限样本数量下实现较高的识别精准度。传统的深度学习方法中要实现图像的精准识别通常需要训练成千上万张图像样本,本方法在模型中引入迁移学习的模式,先训练正常植物图像形成模型参数,将其迁移到新的模型中,帮助其训练植物病害图像数据集,实现较少的病害图像训练样本达到更高的识别正确率。
(4)支持训练样本多分类。农作物可发生的病害多种多样,本系统支持植物常见的多种病害诊断。在传统的SVM支持向量机的模型中通常只能对训练样本二分类,无法满足农作物多种病害的分类任务。本系统在卷积神经网络训练完毕后,将图像输入到子网络中,向前传播至Softmax层,用Softmax多标签分类法实现植物多种病害分类目标。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的智能识别系统架构图;
图2为本发明实施例的智能识别方法流程图;
图3为本发明实施例的卷积特征可视化图像;
图4为本发明实施例的识别玉米病虫害的卷积神经网络模型;
图5为本发明实施例的客户端(APP端)的功能结构图;
图6为本发明实施例的APP界面操作流程图;
图7为本发明实施例在自然光照条件下拍摄的部分病害玉米图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
此外,术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂,而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平,并不是表示该结构一定要完全水平,而是可以稍微倾斜。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
第一实施例
在本实施例中的一种基于CNN与迁移学习的病害智能识别系统,是以卷积神经网络与迁移学习相结合的算法模型,用于实现对植物常见病害的图像智能诊断。在本实施例中的植物以玉米为例,该系统以玉米常见的10类(大斑病、小斑病、圆斑病、灰斑病,茎腐病,普通锈病,丝黑穗,穗腐病,弯孢霉叶斑病,纹枯病)病害为研究对象,根据识别结果所得,本系统可准确识别10种常见玉米病害,正确率可达90%以上,为玉米病害的防治提供了有效的技术支持。
请参见图1,图1为本实施例识别系统的架构流程图,其主要分为三层:
服务层:用于将用户请求结果以可视化的形式展现给用户,使用户可以直接明了的获取结果信息。其主要包含视频数据源传输API和工作流服务API。通过采用HTTP方式传输到网站后端,然后通过Web Server到达一个Handler端点,最后经由路由查找和分发到达一个工作控制器中的对应Action方法。从图1中可以看出,客户端和工作流服务API通讯连接,使得客户端发送请求到结果展示的过程均按照预定规则自动传递文档、信息和任务,减少人工介入;工作流服务API和RPC服务通讯连接,使得客户端可以远程控制和调用控制层。
控制层:负责后端各功能模块的调度,Master为Worker分配Reduce任务,他会将所有Mapper产生的数据进行映射,将相同key的任务分配给某个Worker。从图1可以看出,本实施例中的控制层包括管理模块、调度模块、操作模块、模型模块和中控,其中管理模块、调度模块、操作模块、模型模块分别与RPC服务通讯和中控连接,调度模块和操作模块之间通讯连接、模型模块和操作模块之间通讯连接。
计算存储层:用于数据处理和数据存储,其包含HDFS数据存储模块、深度学习计算模块、视频图像数据处理模块、数据库模块。其中视频图像数据处理模块负责图像去噪,白平衡调节,图像均值化等操作,保证图像数据规一化,最后存入HDFS数据存储模块中;深度学习计算模块主要用于模型训练、图像特征提取、图像识别等,模型训练时系统从HDFS读取图像数据并从SQL中获取对应像素点标签,通过分布式计算平台快速迭代训练。模型训练好后导入当前模型数据库,实现玉米病虫害识别功能。
由于在玉米病虫害识别过程中,一张玉米图像可能同时包含多个病症目标,即一次请求需要同时识别多个不同目标。又因为识别模型采用深度卷积神经模型,网络参数数量很大,多个目标的识别会导致计算量急剧增加。因此,将中控多目标的识别计算任务放在多台服务器上,能够有效提升效率,增加服务的并发性能。
本系统的多目标识别分布式计算系统基于MapReduce计算框架,提供包括离线批处理、在线实时处理以及流式计算三种计算处理方式。其中,离线批处理通过GPU计算,将识别后的离线图像数据写入HBase或者MySQL对外提供查询服务;在线实时处理和流式计算用于实时处理图像数据。三种计算处理方式均在处理完成后将识别结果保存到数据中心,并将实时计算的识别结果通过服务层的API直接提供给服务请求方。
在本实施例中还提供针对植物病害智能识别系统,提供一种基于CNN与迁移学习的病害智能识别方法,其主要包括病害图像识别算法。
请参见图2,该病害图像识别算法主要包含:图像输入、图像预处理、特征定位、特征提取、图像识别分类、图像输出等环节。
图像输入:在客户端(如手机APP端)对需要进行识别的玉米进行拍摄。在本实施例中的图像输入端为Android图像识别前端,Android图像采集前端以APP形式可安装于手机或平板电脑等设备,主要用于病害图像的采集和输入。
请参见图5,该图像识别前端包括病害数据中心模块和玉米病害识别模块,其中病害数据中心用于查询病害数据,玉米病害识别模块用于将拍照或者从相册中选择的图像进行病害识别。
请参见图6,可以清楚看清客户端的操作流程,用户通过拍照或选择手机相册内图片,提示用户对选择的图片框选病症主体。点击上传,系统将用户框选的图片进行裁剪,再进行相应的压缩处理并通过GET请求发送给后端识别算法模型中进行病害识别。
图像预处理:在系统的计算存储层进行图像预处理。由于健康玉米图像和病害玉米图像都存在一些无关图像信息,图像预处理作用在于增强有关信息,并最大限度的去除无关信息,提高图像识别的可靠性。预处理负责图像降噪,调节白平衡,图像均值化等操作,保证图像数据规一化。再使用Faster-RCNN多目标检测算法,快速定位病症区域,排除背景干扰。
图像特征提取:在本实施例中采用Triplet相似性度量模型提取玉米特征。Triplet相似性度量学习方法可以通过特征学习使得同一玉米在不同场景下的图像特征更相似。Triplet是根据公式(2-1)中的约束条件构造的三元组,构造一个三元组首先需要从训练数据中随机选取一个参考样本,其图像特征记为再选取一个与参考样本属于同一类样本的特征记为以及属于不同类样本的特征记为将此称为一个三元组。基于Triplet度量学习的误差函数Triplet loss思想来源如下:
threshold表示特定阈值,该不等式从本质上定义了同类样本和不同类样本之间特征距离的关系,即同类样本之间的距离+阈值,要小于不同类样本之间的距离。将训练集整理成的三元组形式,其中表示一个玉米的拍照图,表示该玉米的另一拍照图,表示随机选取的与该玉米不同的其他玉米图片。然后将训练集输入网络,上面网络的输入是和下面的网络输入是经过卷积-池化等运算最终传递到最后一层全连接层,对应提取出的特征为上下两个网络全连接层再一起输入到Tripletloss损失函数中,计算残差并同时调整两个网络的参数。不同层的卷积特征可视化请见图3。
为了弥补通过深度卷积神经网络提取的特征在图像纹理细节表示较为欠缺的问题。我们采用尺度不变特征变换(Scale-invariant feature transform,SIFT)特征作为补充特征,做加权融合,加强特征的描述能力。SIFT是一种局部特征的提取算法,该算法在空间尺度中寻找极值点,提取这些极值点的位置、尺度、旋转不变量,并作为特征点匹配,取得了良好的匹配效果。
病害分类识别:该病害分类识别涉及到本实施例的核心算法模型,即卷积神经网络和迁移学习相结合的算法模型。请参见图4,基于玉米病虫害图像的特点,设计一种玉米病虫害多分类识别的深度卷积神经网络模型。
该深度卷积神经网络模型包括5层卷积层、2层全连接层和病虫害分类层。
卷积层:用于获取玉米图像的局部特征。由于卷积神经网络只能接收固定大小的输入,首先要将输入图像转化为224*224固定大小的三通道RGB图像。网络的输入大小为224*224*3,第一层卷积层C1使用96个大小为11*11、步长为4的滤波器(或者称为filter、卷积核),对输入图像的固定块进行卷积运算。卷积运算之后是最大值池化(Max Pooling)操作,所有最大值池化操作都使用大小为3*3、步长为1的滤波器对输入进行下采样。C2层使用256个大小为5*5、步长1为的卷积核。C3层使用384个大小为3*3、步长为1的卷积核。C4层使用384个大小为3*3、步长为1的卷积核。C5层使用256个大小为3*3、步长为1的卷积核。
全连接层:用于将全部局部特征重新通过权值矩阵连接成完整的图像,两层全连接层F1、F2都包含4096个神经元。其中每个神经元都分别与输入和输出中的每个神经元相连。
病虫害分类层:用于将进行病虫害类别分类,本实施例中的病虫害分类层为Softmax分类器,该Softmax分类器中的每一类都对应一个玉米病虫害,即分类器中神经元的个数对应玉米病虫害中类别的数量。
但是由于玉米病虫害图像量少,获取难度大,如果直接用现有少量病虫害数据训练深度卷积神经网络模型,会导致模型过拟合,降低泛化性,从而无法识别新的图像。在本实施例中的卷积神经网络结合迁移学习进行玉米病害图像处理,迁移学习可以利用在一个环境中已经学到的知识帮助完成新环境中的学习任务,在深度学习的训练中,可以迁移已训练好的模型参数到新的模型中,帮助其训练新的数据集。首先还是先使用深度卷积神经网络模型进行处理,然后利用训练好的深度卷积神经网络模型的参数,初始化5层卷积层、2层全连接层中的网络参数,然后利用高斯分布(高斯分布函数如公式2-2所示)随机初始化病虫害分类层的神经元参数,最后再使用玉米病虫害的数据集再次训练整个网络。
在训练网络参数时,我们使用误差反向传播(Error Back Propagation,简称BP)算法训练整个卷积神经网络,训练的过程由信息的正向传播与误差的反向传播组成。
正向传播阶段:从训练样本中选取一批样本{(x1,Y1),(x2,Y2),...,(xm,Ym)},其中是xi玉米样本图像,Yi是该样本的病虫害类别。将样本图像的RGB像素值线性排列作为输入,对于以后每一层,通过该层当前的网络参数与前一层的输出计算该层的输出,并将该输出作为下一层的输入。如此逐层计算,直到最终传递到输出层,输出玉米病虫害的多分类标签。
反向传播阶段:多标签分类Softmax属性分类器损失函数如公式(2-3)所示:
其中m为训练样本的个数,k为该属性分类器类别数,1{·}为示性函数,表示输出分类是否与标签一致;θi和θj为模型参数,x为输入样本数,e为常量。
计算了输出层的误差后,需要将其反向回传到前几层更新参数,即误差回传过程。如果下层是池化层(pooling),其误差值δj如公式(2-4)所示,设第l层为卷积层,第l+1层为池化层,并且池化层的误差是δj+1:
上式中·表示矩阵点积操作,卷积层和上采样后的池化层节点对应,因此下标相同,函数表示第l层的第j节点对应的激活函数的导数。如果下层是卷积层,那么假设本层池化层有N个特征图,而卷积层有M个卷积核,卷积层和池化层分别为l,l+1层。卷积层中每个卷积核都有与之对应的误差项,则本层池化层第j个通道的误差计算方式如公式(2-5)所示:
根据上述误差计算,就可以通过当前网络权值和学习率更新参数。
待网络训练完毕后,可以用该网络进行玉米病虫害识别。我们可以将训练好的卷积神经网络看做一个多分类器,将图像输入到子网络中,向前传播至Softmax层,用Softmax层最大值所表示的类别作为输入图像的病虫害类别。
图像输出:用于图像分析结果展示,其同样设置于客户端。
最后将本实施例中的病害识别系统进行试验,试验所用的部分图像请参见图7,本文将试验将玉米病害图像分为2组:训练数据314张测试数据112张。同时准备了400张健康玉米的图像,所有图片均在自然光照条件下,开放的大田环境中拍摄。
将经过训练的深度卷积神经网络模型,对包含玉米大斑病、小斑病、圆斑病、灰斑病,茎腐病,普通锈病,丝黑穗,穗腐病,弯孢霉叶斑病,纹枯病10类病害的112张病害测试数据进行识别检测,其结果表1所示:
表1 识别结果
该实验结果表明本方法能有效识别以上10类玉米常见病害,且正确率达到90%以上。
综上所述,本实施例中提供的一种基于CNN与迁移学习的病害智能识别方法和系统能够在自然环境条件下识别玉米病害,该方法和系统以玉米常见的10类病害为研究对象,先将图像预处理,应用Triplet loss模型结构学习玉米图像特征,再使用SIFT算法提取图像纹理细节,最后通过Softmax对图像进行标签分类。训练集采用正常玉米图像与玉米病害图像相结合的方式,使用深度相似性网络学习正常玉米图像特征表示,再使用迁移学习方法学习玉米病害图像的特征,最后对特征进行分类识别。研究结果表明,该方法可准确识别10种常见玉米病害,正确率可达90%以上,为玉米病害的防治提供了有效的技术支持。
本说明书描述了本发明的实施例的示例,并不意味着这些实施例说明并描述了本发明的所有可能形式。应理解,说明书中的实施例可以多种替代形式实施。附图无需按比例绘制;可放大或缩小一些特征以显示特定部件的细节。公开的具体结构和功能细节不应当作限定解释,仅仅是教导本领域技术人员以多种形式实施本发明的代表性基础。本领域内的技术人员应理解,参考任一附图说明和描述的多个特征可以与一个或多个其它附图中说明的特征组合以形成未明确说明或描述的实施例。说明的组合特征提供用于典型应用的代表实施例。然而,与本发明的教导一致的特征的多种组合和变型可以根据需要用于特定应用或实施。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于CNN与迁移学习的病害智能识别方法,其特征在于,所述智能识别方法包括病害图像识别方法,所述病害图像识别方法包括如下步骤:
S1:图像预处理,将获取的植物图片进行图像二值化和图像大小归一化,然后利用Faster-RCNN多目标检测算法快速定位病症区域,排出背景干扰;所述植物图片包括正常植物图像和病害植物图像;
S2:图像特征提取,采用triplet相似性度量模型提取预处理后的所述植物图片的图像特征,然后采用SIFT特征作为补偿特征做加权融合;
S3:病害分类识别,采用深度卷积神经网络学习所述正常植物图像的第一图像特征,再使用迁移学习进行病害植物图像的第二图像特征学习,最后结合第一图像特征和第二图像特征进行分类识别;
采用深度卷积神经网络模型对病害进行多分类识别,其包括如下步骤:
S31:构建并训练第一卷积神经网络模型;
S32:将训练得到的所述第一卷积神经网络模型训练所述正常植物图像并形成模型参数;
S33:将所述模型参数迁移至新的所述卷积神经网络模型,得到第二卷积神经网络模型;
S34:利用第二卷积神经网络模型训练需要识别的所述病害植物图像,并通过Softmax对图像进行标签分类;所述卷积神经网络模型包括第一所述第一卷积神经网络模型和所述第二卷积神经网络模型,所述卷积神经网络模型包括卷积层、全连接层和病虫害分类层。
2.根据权利要求1所述的基于CNN与迁移学习的病害智能识别方法,其特征在于,所述卷积神经网络模型包括5层卷积层、2层全连接层和病虫害分类层,所述病虫害分类层包括Softmax分类器,所述Softmax分类器的每一类都分别对应一个植物病害。
3.根据权利要求1所述的基于CNN与迁移学习的病害智能识别方法,其特征在于,所述S31还包括如下步骤:将训练好的所述第一卷积神经网络初始化各个卷积层和全连接层的网络参数,采用高斯分布随机初始化所述病虫害分类层的神经元参数,最后使用病害数据集再次训练整个第一卷积神经网络模型。
4.根据权利要求1所述的基于CNN与迁移学习的病害智能识别方法,其特征在于,在所述S3中采用BP算法训练整个卷积神经网络,所述训练过程包括信息的正向传播和误差的反向传播。
5.根据权利要求4所述的基于CNN与迁移学习的病害智能识别方法,其特征在于,所述信息的正向传播的处理方式包括如下步骤:从训练样本中选取一批植物样本{(x1,Y1),(x2,Y2),...,(xm,Ym)},其中xi是植物样本图像,Yi是所述植物样本对应的植物病害类别;将所述正常植物样本图像的RGB像素值线性排列作为输入,通过当层的网络参数和前一层的第一输出计算出当层的第二输出,所述第二输出作为下一层的输入,依次逐层计算直至输出植物病害的多分类标签。
6.根据权利要求4所述的基于CNN与迁移学习的病害智能识别方法,其特征在于,所述误差的反向传播的处理方式包括如下步骤:
所述Softmax分类器的损失函数公式如下:
其中m为训练样本的个数、k为该属性分类器类别数、1{·}为示性函数,θi和θj为模型参数,x为输入样本数,计算出输出层误差后,将其反向回传到前几层更新参数;
若下层时池化层,其误差值δj的公式如下:其中第l层为卷积层,第l+1层为池化层,并且池化层的误差是δj+1,卷积层和上采样后的池化层节点对应,函数表示第l层的第j节点对应的激活函数的导数;
若下层是卷积层,本层池化层第j个通道的误差计算方式为:
其中本层池化层有N个特征图,卷积层有M个卷积核,卷积层和池化层分别为l,l+1层,卷积层中每个卷积核都有与之对应的误差项,从而通过当前网络权值和学习率更新参数。
7.根据权利要求1所述的基于CNN与迁移学习的病害智能识别方法,其特征在于,所述triplet相似性度量模型提取植物图片特征的操作方法如下:
S21:根据公式:中的约束条件构建三元组其中threshold表示特定阈值,为参考样本的第一图像特征,为与所述参考样本同一类的第二图像特征,为与所述参考样本不同类的第三图像特征;所述参考样本从训练数据中随机选取得到;
S22:将训练集整理成的三元组形式,其中表示植物的第一拍照图,表示该植物的第二拍照图,表示随机选取的与该植物不同的其他植物图片;
S23:将训练集输入网络,上面网络的输入是和下面的网络输入是经过卷积-池化等运算最终传递到最后一层全连接层,对应提取出的特征为上下两个网络全连接层再一起输入到Triplet loss损失函数中,计算残差并同时调整两个网络的参数。
8.根据权利要求1所述的基于CNN与迁移学习的病害智能识别方法,其特征在于,所述加权融合的操作步骤包括:在空间尺度中寻找极值点,提取所述极值点的位置、尺度和旋转不变量,将所述极值点作为特征点进行特征匹配。
9.一种基于CNN与迁移学习的病害智能识别系统,其特征在于,所述植物病害智能识别系统包括服务层、控制层和计算存储层;所述服务层将结果可视化提供给用户;所述控制层负责网站后端各个功能模块的调度;所述计算存储层包括视频图像数据处理模块、HDFS数据存储模块、深度学习计算模块和数据库模块,所述视频数据处理模块进行图像预处理,然后将数据存入所述HDFS数据存储模块中,所述深度学习计算模块从HDFS数据存储模块中读取数据并进行训练,然后将训练好的模型导入到所述数据库模块中,完成植物病害识别。
10.根据权利要求9中所述的基于CNN与迁移学习的病害智能识别系统,其特征在于,所述植物病害智能识别系统基于MapReduce计算框架,采用离线批处理、在线实时处理和流式计算方法;所述离线批处理通过离线批处理通过GPU计算,将识别后的离线图像数据写入HBase或者MySQL对外提供查询服务;所述在线实时处理和所述流式计算方法用于实时处理图像数据,处理完成后将识别结果保存到所述数据库模块并将实时计算的识别结果通过所述服务层的API直接提供给服务请求方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910383381.9A CN110148120B (zh) | 2019-05-09 | 2019-05-09 | 一种基于cnn与迁移学习的病害智能识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910383381.9A CN110148120B (zh) | 2019-05-09 | 2019-05-09 | 一种基于cnn与迁移学习的病害智能识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110148120A true CN110148120A (zh) | 2019-08-20 |
CN110148120B CN110148120B (zh) | 2020-08-04 |
Family
ID=67594889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910383381.9A Active CN110148120B (zh) | 2019-05-09 | 2019-05-09 | 一种基于cnn与迁移学习的病害智能识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110148120B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427922A (zh) * | 2019-09-03 | 2019-11-08 | 陈�峰 | 一种基于机器视觉和卷积神经网络病虫害识别系统和方法 |
CN110766082A (zh) * | 2019-10-25 | 2020-02-07 | 成都大学 | 一种基于迁移学习的植物叶片病虫害程度分类方法 |
CN110929610A (zh) * | 2019-11-12 | 2020-03-27 | 上海五零盛同信息科技有限公司 | 基于cnn模型和迁移学习的植物病害识别方法及系统 |
CN111080524A (zh) * | 2019-12-19 | 2020-04-28 | 吉林农业大学 | 基于深度学习的植物病虫害识别方法 |
CN111127423A (zh) * | 2019-12-23 | 2020-05-08 | 金陵科技学院 | 一种基于cnn-bp神经网络算法水稻病虫害识别方法 |
CN111259893A (zh) * | 2020-01-19 | 2020-06-09 | 柳潆林 | 一种基于深度学习的智能工具管理方法 |
CN111275120A (zh) * | 2020-01-22 | 2020-06-12 | 支付宝(杭州)信息技术有限公司 | 图像识别模型的训练方法及装置、图像识别方法及装置 |
CN111274972A (zh) * | 2020-01-21 | 2020-06-12 | 北京妙医佳健康科技集团有限公司 | 基于度量学习的菜品识别方法及装置 |
CN111582051A (zh) * | 2020-04-17 | 2020-08-25 | 五邑大学 | 一种基于无人机的毒品原植物识别方法、系统及存储介质 |
CN112052904A (zh) * | 2020-09-09 | 2020-12-08 | 陕西理工大学 | 一种基于迁移学习和卷积神经网络病虫害的识别方法 |
CN112241331A (zh) * | 2020-11-19 | 2021-01-19 | 西北大学 | 一种基于深度神经网络的移动Web任务动态迁移方法 |
CN112241762A (zh) * | 2020-10-19 | 2021-01-19 | 吉林大学 | 一种用于病虫害图像分类的细粒度识别方法 |
CN112364899A (zh) * | 2020-10-27 | 2021-02-12 | 西安科技大学 | 一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法 |
CN112529085A (zh) * | 2020-12-16 | 2021-03-19 | 上海零眸智能科技有限公司 | 一种基于聚类的分类数据快速处理方法 |
CN112580513A (zh) * | 2020-12-21 | 2021-03-30 | 福州引凤惠农科技服务有限公司 | 一种农作物病虫害智能识别方法 |
CN112819803A (zh) * | 2021-02-22 | 2021-05-18 | 珠海博明视觉科技有限公司 | 一种用于机器视觉缺陷检测的神经网络分类器的使用方法 |
CN113283287A (zh) * | 2021-04-06 | 2021-08-20 | 安徽农业大学 | 一种基于cnn算法的玉米病害防治无人机的使用方法 |
CN113496442A (zh) * | 2020-03-19 | 2021-10-12 | 荷盛崧钜智财顾问股份有限公司 | 图表征产生系统,图表征产生方法与其图表征智能模块 |
CN114820568A (zh) * | 2022-05-20 | 2022-07-29 | 青岛农业大学 | 一种玉米叶片病害识别模型搭建的方法、设备及存储介质 |
CN115050014A (zh) * | 2022-06-15 | 2022-09-13 | 河北农业大学 | 一种基于图像文本学习的小样本番茄病害识别系统及方法 |
CN116311230A (zh) * | 2023-05-17 | 2023-06-23 | 安徽大学 | 一种面向真实场景下的玉米叶片病害识别方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3173983A1 (en) * | 2015-11-26 | 2017-05-31 | Siemens Aktiengesellschaft | A method and apparatus for providing automatically recommendations concerning an industrial system |
CN107885762A (zh) * | 2017-09-19 | 2018-04-06 | 北京百度网讯科技有限公司 | 智能大数据系统、提供智能大数据服务的方法和设备 |
CN108647741A (zh) * | 2018-05-18 | 2018-10-12 | 湖北工业大学 | 一种基于迁移学习的图像分类方法和系统 |
CN109344845A (zh) * | 2018-09-21 | 2019-02-15 | 哈尔滨工业大学 | 一种基于Triplet深度神经网络结构的特征匹配方法 |
CN109359541A (zh) * | 2018-09-17 | 2019-02-19 | 南京邮电大学 | 一种基于深度迁移学习的素描人脸识别方法 |
-
2019
- 2019-05-09 CN CN201910383381.9A patent/CN110148120B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3173983A1 (en) * | 2015-11-26 | 2017-05-31 | Siemens Aktiengesellschaft | A method and apparatus for providing automatically recommendations concerning an industrial system |
CN107885762A (zh) * | 2017-09-19 | 2018-04-06 | 北京百度网讯科技有限公司 | 智能大数据系统、提供智能大数据服务的方法和设备 |
CN108647741A (zh) * | 2018-05-18 | 2018-10-12 | 湖北工业大学 | 一种基于迁移学习的图像分类方法和系统 |
CN109359541A (zh) * | 2018-09-17 | 2019-02-19 | 南京邮电大学 | 一种基于深度迁移学习的素描人脸识别方法 |
CN109344845A (zh) * | 2018-09-21 | 2019-02-15 | 哈尔滨工业大学 | 一种基于Triplet深度神经网络结构的特征匹配方法 |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427922A (zh) * | 2019-09-03 | 2019-11-08 | 陈�峰 | 一种基于机器视觉和卷积神经网络病虫害识别系统和方法 |
CN110766082B (zh) * | 2019-10-25 | 2022-04-01 | 成都大学 | 一种基于迁移学习的植物叶片病虫害程度分类方法 |
CN110766082A (zh) * | 2019-10-25 | 2020-02-07 | 成都大学 | 一种基于迁移学习的植物叶片病虫害程度分类方法 |
CN110929610A (zh) * | 2019-11-12 | 2020-03-27 | 上海五零盛同信息科技有限公司 | 基于cnn模型和迁移学习的植物病害识别方法及系统 |
CN110929610B (zh) * | 2019-11-12 | 2023-05-23 | 上海五零盛同信息科技有限公司 | 基于cnn模型和迁移学习的植物病害识别方法及系统 |
CN111080524A (zh) * | 2019-12-19 | 2020-04-28 | 吉林农业大学 | 基于深度学习的植物病虫害识别方法 |
CN111127423A (zh) * | 2019-12-23 | 2020-05-08 | 金陵科技学院 | 一种基于cnn-bp神经网络算法水稻病虫害识别方法 |
CN111259893A (zh) * | 2020-01-19 | 2020-06-09 | 柳潆林 | 一种基于深度学习的智能工具管理方法 |
CN111274972A (zh) * | 2020-01-21 | 2020-06-12 | 北京妙医佳健康科技集团有限公司 | 基于度量学习的菜品识别方法及装置 |
CN111274972B (zh) * | 2020-01-21 | 2023-08-29 | 北京妙医佳健康科技集团有限公司 | 基于度量学习的菜品识别方法及装置 |
CN111275120A (zh) * | 2020-01-22 | 2020-06-12 | 支付宝(杭州)信息技术有限公司 | 图像识别模型的训练方法及装置、图像识别方法及装置 |
CN113496442A (zh) * | 2020-03-19 | 2021-10-12 | 荷盛崧钜智财顾问股份有限公司 | 图表征产生系统,图表征产生方法与其图表征智能模块 |
CN111582051B (zh) * | 2020-04-17 | 2023-06-16 | 五邑大学 | 一种基于无人机的毒品原植物识别方法、系统及存储介质 |
CN111582051A (zh) * | 2020-04-17 | 2020-08-25 | 五邑大学 | 一种基于无人机的毒品原植物识别方法、系统及存储介质 |
CN112052904A (zh) * | 2020-09-09 | 2020-12-08 | 陕西理工大学 | 一种基于迁移学习和卷积神经网络病虫害的识别方法 |
CN112241762A (zh) * | 2020-10-19 | 2021-01-19 | 吉林大学 | 一种用于病虫害图像分类的细粒度识别方法 |
CN112364899A (zh) * | 2020-10-27 | 2021-02-12 | 西安科技大学 | 一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法 |
CN112241331A (zh) * | 2020-11-19 | 2021-01-19 | 西北大学 | 一种基于深度神经网络的移动Web任务动态迁移方法 |
CN112529085A (zh) * | 2020-12-16 | 2021-03-19 | 上海零眸智能科技有限公司 | 一种基于聚类的分类数据快速处理方法 |
CN112580513A (zh) * | 2020-12-21 | 2021-03-30 | 福州引凤惠农科技服务有限公司 | 一种农作物病虫害智能识别方法 |
CN112819803A (zh) * | 2021-02-22 | 2021-05-18 | 珠海博明视觉科技有限公司 | 一种用于机器视觉缺陷检测的神经网络分类器的使用方法 |
CN112819803B (zh) * | 2021-02-22 | 2024-03-22 | 珠海博明视觉科技有限公司 | 一种用于机器视觉缺陷检测的神经网络分类器的使用方法 |
CN113283287A (zh) * | 2021-04-06 | 2021-08-20 | 安徽农业大学 | 一种基于cnn算法的玉米病害防治无人机的使用方法 |
CN114820568A (zh) * | 2022-05-20 | 2022-07-29 | 青岛农业大学 | 一种玉米叶片病害识别模型搭建的方法、设备及存储介质 |
CN114820568B (zh) * | 2022-05-20 | 2024-04-30 | 青岛农业大学 | 一种玉米叶片病害识别模型搭建的方法、设备及存储介质 |
CN115050014A (zh) * | 2022-06-15 | 2022-09-13 | 河北农业大学 | 一种基于图像文本学习的小样本番茄病害识别系统及方法 |
CN116311230B (zh) * | 2023-05-17 | 2023-08-18 | 安徽大学 | 一种面向真实场景下的玉米叶片病害识别方法及装置 |
CN116311230A (zh) * | 2023-05-17 | 2023-06-23 | 安徽大学 | 一种面向真实场景下的玉米叶片病害识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110148120B (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110148120A (zh) | 一种基于cnn与迁移学习的病害智能识别方法及系统 | |
AU2020103613A4 (en) | Cnn and transfer learning based disease intelligent identification method and system | |
Chen et al. | Detecting citrus in orchard environment by using improved YOLOv4 | |
US10977494B2 (en) | Recognition of weed in a natural environment | |
CN109325495A (zh) | 一种基于深度神经网络建模的作物图像分割系统及方法 | |
WO2021051987A1 (zh) | 神经网络模型训练的方法和装置 | |
CN109344699A (zh) | 基于分层深度卷积神经网络的冬枣病害识别方法 | |
CN109344738A (zh) | 农作物病虫草害识别方法及装置 | |
CN109711449A (zh) | 一种基于全卷积网络的图像分类算法 | |
CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
JP2022114352A (ja) | 人工知能(ai)による推定システム、学習データ生成装置、学習装置、摘果対象物推定装置、学習システム、及び、プログラム | |
Manoharan et al. | Identification of mango leaf disease using deep learning | |
Lu et al. | Citrus green fruit detection via improved feature network extraction | |
Liu et al. | “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots | |
Mendoza-Bernal et al. | A Convolutional Neural Network approach for image-based anomaly detection in smart agriculture | |
Jia et al. | Dough‐Stage Maize (Zea mays L.) Ear Recognition Based on Multiscale Hierarchical Features and Multifeature Fusion | |
Akbar et al. | A comprehensive review on deep learning assisted computer vision techniques for smart greenhouse agriculture | |
Pan et al. | A two-stage feature aggregation network for multi-category soybean leaf disease identification | |
Liu et al. | Tomato detection based on convolutional neural network for robotic application | |
Wang et al. | Diagnosis of soybean bacterial blight progress stage based on deep learning in the context of data-deficient | |
Zheng et al. | Fruit tree disease recognition based on convolutional neural networks | |
Miao et al. | Research on Soybean Disease Identification Method Based on Deep Learning | |
Ekanayake et al. | Novel deep learning approaches for crop leaf disease classification: A review | |
Nan et al. | A novel method for maize leaf disease classification using the RGB-D post-segmentation image data | |
Yuan et al. | CGAN-IRB: a novel data augmentation method for apple leaf diseases |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |