CN111598001B - 一种基于图像处理的苹果树病虫害的识别方法 - Google Patents

一种基于图像处理的苹果树病虫害的识别方法 Download PDF

Info

Publication number
CN111598001B
CN111598001B CN202010419514.6A CN202010419514A CN111598001B CN 111598001 B CN111598001 B CN 111598001B CN 202010419514 A CN202010419514 A CN 202010419514A CN 111598001 B CN111598001 B CN 111598001B
Authority
CN
China
Prior art keywords
apple tree
image
class
function
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010419514.6A
Other languages
English (en)
Other versions
CN111598001A (zh
Inventor
薛楠
王鹏
姜玉良
李东滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Penglu Intelligent Technology Co ltd
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010419514.6A priority Critical patent/CN111598001B/zh
Publication of CN111598001A publication Critical patent/CN111598001A/zh
Application granted granted Critical
Publication of CN111598001B publication Critical patent/CN111598001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明提供了一种基于图像处理的苹果树病虫害的识别方法，用于识别三种常见的苹果树病虫害，属于图像处理技术领域。一种基于图像处理的苹果树病虫害识别方法主要包括六个步骤：首先进行苹果树图像信息采集；然后使用自动色彩增强算法去除其光照的影响；通过均值漂移聚类算法对图像进行聚类分割，保留枝干、树叶、苹果三部分，提高图像特征值提取的准确性；利用Tamura算法提取分割后图像的线性度、粗糙度、对比度、方向度四类特征值；将上述四类特征值作为输入量训练径向基神经网络模型；最后将神经网络模型与Softmax分类器结合确定苹果树所患病虫害。本发明与现有的苹果树病虫害识别方法相比，不受光照等自然环境的影响，同时具有很高的实时性和准确率。

Description

一种基于图像处理的苹果树病虫害的识别方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像处理的苹果树病虫害的识别方法。
背景技术
中国是世界上苹果种植面积最大，也是总产量最高的国家。据官方数据显示，2015年中国苹果树种植总面积在3500万亩左右，苹果总产量在4000万吨以上。随着我国农业结构的不断调整以及生产布局的逐步优化，苹果的生长环境得以改善，生产效益有了较大提高，但与国际先进水平相比，仍存在明显差距。
在苹果生产作业中，病虫害的发生与发展一直是果农们面对的一大难题。在苹果树的种植中有三种常见的病害：斑点落叶病、轮纹病、褐腐病。斑点落叶病的主要症状为初期树叶上出现褐色圆点，逐渐扩大为红褐色，边缘紫褐色，病部中央常具深色斑点或同心轮纹；轮纹病主要症状为树干发病，以皮孔为中心形成暗褐色、水渍状或小溃疡斑，边缘开裂翘起，呈青灰色；褐腐病主要症状为果实表面出现浅褐色小斑，软腐状，病斑扩展速度极快，在10摄氏度情况下经十天即可使整个苹果腐烂。
传统的苹果树病虫害检测过多依赖于专家的经验，效率低且不具有智能性是影响其病虫害检测性能的重要限制。大部分果树的病况不能够及时的被发现而导致病虫害蔓延，即使后期进行治疗后也会影响苹果的产量。因此果树实时监控技术的发展在整个苹果产业中是十分重要的。
目前苹果树病虫害识别方法研究主要有基于向量机的病虫害识别方法和基于高光谱成像的病虫害识别方法。然而现有的研究中很少考虑光照的影响；由于在识别过程中对全部苹果树图像进行处理而导致了算法实时性较差，准确率不高；大部分研究只是判断苹果树是否患病而未对所患病虫害种类进行分类。
发明内容
本发明要解决的现有技术中存在的技术问题是：现有的研究中很少考虑光照的影响；由于在识别过程中对全部苹果树图像进行处理而导致了算法实时性较差、准确率不高的问题。
本发明提供了一种基于图像处理的苹果树病虫害的识别方法，用于识别三种常见的苹果树病虫害。
本发明采用如下方法来实现：一种基于图像处理的苹果树病虫害的识别方法，其特征在于，包括：
步骤一、对苹果树图像进行信息采集；
步骤二、对所采集的苹果树图像使用自动色彩增强算法进行图像增强预处理；
步骤三、对预处理后的图像使用均值漂移聚类算法进行初步聚类分割，保留图像中枝干、树叶、苹果三部分；
步骤四、利用Tamura算法提取步骤三中聚类保留图像的线性度、粗糙度、对比度、方向度四类特征值；
步骤五、将步骤四中的四类特征值作为输入量，通过构造和训练得到径向基神经网络模型；
步骤六、利用步骤五中得到的径向基神经网络模型与Softmax分类器结合确定苹果树所患病虫害类型。
步骤二中，在图像预处理的过程中使用自动色彩增强算法增强图像去除光照的影响，该算法考虑了图像中颜色和亮度的空间位置关系，进行局部特性的自适应滤波，实现具有局部和非线性特征的图像亮度与色彩调整和对比度调整，同时满足灰色世界理论假设和白色斑点假设，具体步骤如下：
步骤二一：分别对苹果树图像的R、G、B通道进行单独处理，计算每个像素点的R(x)值，进行适应局部图像对比度，Sα(t)能够放大较小的差异，并且丰富大的差异，公式如下：
Figure GDA0004146524120000021
其中，R(x)为计算参数时的中间结果，I(x)、I(y)表示两个不同像素点的亮度，d(x，y)为两个像素点的距离，Sα(t)为坡度函数，α为可调斜率，公式如下：
Figure GDA0004146524120000022
步骤二二：利用下面的公式将R(x)展到[0，1]之间，得到增强后的苹果树图像的R、G、B通道，获得全局白平衡，公式如下：
Figure GDA0004146524120000023
其中，L(x)为归一化后的中间值。
步骤二三：求解最优化问题，获得处理后的苹果树图像，自动色彩增强算法可以看作是对规范的直方图均衡化方法的一种平滑和局部修正的方法，公式如下：
Figure GDA0004146524120000031
其中，ω表示权重，M为相对调节参数，公式如下：
ω(x,y)＝1/||(x-y)||                                  (5)
M＝maxx L(x)                                     (6)
步骤三中，所述均值漂移聚类算法是一种无参数密度估计算法，可以看作是使多个随机中心点向着密度最大的方向移动，最终得到多个最大密度中心，通过算法将所需果树区域初步的分割出来，使用均值漂移聚类算法聚类分割具体过程为：
步骤三一：在未被标记的苹果树图像像素点中随机选择一个点作为初始中心点center；
步骤三二：找出与中心点center亮度差在设定的阈值O之内的所有像素点，记做集合Z，认为这些点属于类c，同时把这些点属于这个类的概率加1；
步骤三三：以center为中心点，计算从中心点center开始到集合Z中每个元素的向量，将这些向量相加，得到偏移向量shift；
步骤三四：中心点center沿着偏移向量shift的方向移动，移动距离是偏移向量的模；
步骤三五：重复步骤三二、三三、三四，直到偏移向量shift迭代到收敛，记住此时的中心点center，这个迭代过程中遇到的点都归到类c中；
步骤三六：如果收敛时当前类c的center与其它已经存在的类中心的亮度差小于阈值，那么把类c与这个类合并，否则把c作为新的类，增加1类；
步骤三七：重复步骤三一、三二、三三、三四、三五直到所有的点都被标记访问；
步骤三八：根据每个类对每个点的访问频率，取访问频率最大的那个类，作为当前点集的所属类，最终完成对苹果树图像的聚类分割。
步骤四中，所述提取的四类特征值分别为：
粗糙度
Figure GDA0004146524120000032
对比度
Figure GDA0004146524120000033
方向度
Figure GDA0004146524120000034
线性度
Figure GDA0004146524120000035
式中
α4＝μ4/σ4
Sbest(i,j)＝2k
k＝0，1，...，5
μ4----------------四次矩
σ2----------------方差
p-----------------分割后苹果树图像灰度直方图中的峰值
np----------------分割后苹果树图像灰度直方图中所有的峰值
Wp--------------对于某个峰值p，Wp代表该峰值所包含的所有的离散区域
Φp---------------波峰中心位置
PDd---------------在距离内的n×n大小的局部方向共生矩阵
步骤五中，所述对已聚类分割后的苹果树图像进行训练识别，具体为：构建径向基神经网络模型，径向基神经网络是一种三层神经网络，其包括输入层、隐层、输出层；从输入空间到隐层空间的变换是非线性的，而从隐层空间到输出层空间变换是线性；构建径向基神经网络模型的具体步骤如下：
步骤五一一：将从分割后苹果树灰度图像中提取的粗糙度、对比度、方向度、线性度四类特征值作为输入层输入矢量，用径向基作为隐单元的“基”构成隐含层空间；
步骤五一二：将隐单元输出的线性加权和作为网络的输出，此处的权即为网络可调参数；
步骤五一三：利用径向基函数、激活函数、损失函数构成线性方程组，网络的权由线性方程组直接解出，进而求出基函数的中心、方差以及隐含层到输出层的权值三个神经网络的参数；
所采用的径向基函数是高斯核函数，形式为k(||x-xc||)＝exp{-||x-xc||^2/(2*σ^2)}，其中xc为核函数中心，σ为函数的宽度参数，控制函数的径向作用范围，其具体表述如下：
径向基神经网络的激活函数可表示为：
Figure GDA0004146524120000041
其中xp为第p个输入样本，ci为第i个中心点，h为隐含层的结点数，n是输出的样本数或分类数，径向基神经网络的结构可得到网络的输出为：
Figure GDA0004146524120000042
其中，j＝1，2，3，...，n；h为隐含层的结点数；n是输出的样本数；ω为权值；
采用最小二乘的损失函数表示：
Figure GDA0004146524120000051
采用自组织选取中心学习方法进行径向基神经网络的学习训练，其具体表述如下：
步骤五二一：无监督学习过程，求解隐含层基函数的中心与方差；
步骤五二二：有监督学习过程，求解隐含层到输出层之间的权值；
首先，在分割后苹果树灰度图像特征值中选取h个中心做k-means聚类，对于高斯核函数的径向基，方差由公式求解：
Figure GDA0004146524120000052
其中，i＝1，2，…，h；
cmax为所选取中心点之间的最大距离；
隐含层至输出层之间的神经元的连接权值可以用最小二乘法直接计算得到，即对损失函数求解关于权值ω的偏导数，使其等于0，可以化简得到计算公式为：
Figure GDA0004146524120000053
其中，p＝1，2，…，P；i＝1，2，…，h；
利用以上公式计算出的各类参数完成径向基神经网络模型的搭建，并且使用该神经网络模型对数据集中的分割后苹果树灰度图像特征值进行训练，得到训练后的特征值并输出。
步骤六中，所述Softmax分类器具体为：应用Softmax回归模型，该模型在处理多分类问题时，类标签y可取得K个不同值；因此，在对于苹果树灰度图像特征值训练集，则有m个已标记样本{(x(1)，y(1))，…，(x(m)，y(m))}，特征向量x的维度为n+1，其中x0＝1对应截距项；
设输入测试元素为x，则x可表示为经过训练的分割后苹果树灰度图像的特征值，在分类测试过程中，则每种类别j应当存在一个识别概率，因此可将假设函数公式h0(x)设置为：
Figure GDA0004146524120000054
在式(16)中，θ1，θ2，…，θk∈Rn+1通常表示为分类器模型参数，而其中的
Figure GDA0004146524120000055
通常是对分类识别概率数据的一种归一化处理，使得所有概率之和为1，这样做的目的是要提高分类的精度；
在Softmax分类器进行苹果树患病图像分类测算的过程中，若将参数θ以矩阵的形式进行表示，则该矩阵为：
Figure GDA0004146524120000061
Softmax的代价函数J(θ)则为：
Figure GDA0004146524120000062
在Softmax损失函数中对类标记的k个可能值进行累加，根据该代价函数，将x分类为类别j的概率则为：
Figure GDA0004146524120000063
根据对上述公式的求导，得出梯度公式为：
Figure GDA0004146524120000064
通过以上公式的应用完成对经过训练的分割后苹果树灰度图像特征值数据的处理，最终确定苹果树所患病虫害类型为斑点落叶病、轮纹病、褐腐病中的一种。
综上所述，本苹果树病虫害识别算法通过摄像头对自然环境下的苹果树拍照来实现数据图像的采集，对摄像头采集到的数据图像进行运算和分析，去除自然因素的影响，在复杂背景中识别苹果树所患病虫害。本苹果树病虫害识别算法主要包括患病苹果树图像信息采集，图像预处理，初步聚类分割，图像特征提取，训练径向基神经网络模型并结合Softmax分类器五个方面。其中，患病苹果树图像信息采集是本算法的基础，主要采集RGB苹果树图像；图像的预处理是使用自动色彩增强算法去除图像中光照的影响并对图像进行增强；初步聚类分割和图像特征提取是使用均值漂移聚类算法分割苹果树图像(树干、树叶、苹果)，然后使用特征值提取算法提取所需分割保留图像的图像特征；训练径向基神经网络模型是通过构建神经网络模型并将图像特征值作为输入量，通过对数据库内已患病苹果树图像进行训练，得到模型参数，完成径向基神经网络模型搭建，最后与Softmax分类器结合，确定分类器参数，完成三种苹果树病虫害分类识别。
有益效果为：本发明提出的苹果树病虫害识别方法，在检测方式上利用数字图像处理技术完成苹果树病虫害的识别检测,无需额外的硬件设备，方便快捷且实用性强。创新性的使用自动色彩增强算法增强原始图像去除其中光照的影响，为后续的图像处理提供便利。通过统计聚类方法获取患病苹果树图像中枝干、树叶、苹果部分，并通过统计特征提取分割后图像中的线性度、粗糙度、对比度、方向度四类图像特征值，提高了苹果树病虫害图像识别速率以及准确性。采用训练径向基神经网络模型与Softmax分类器结合的方案最终确定苹果树所患病虫害，进一步提高识别的准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于图像处理的苹果树病虫害的识别方法实施例流程图；
图2为本发明提供的苹果树图像聚类识别流程示意图；
图3为本发明提供的径向基神经网络训练流程图。
具体实施方式
本发明给出了一种基于图像处理的苹果树病虫害的识别方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：
本发明首先提供了一种基于图像处理的苹果树病虫害的识别方法实施例，如图1所示，包括：本发明采用如下方法来实现：一种基于图像处理的苹果树病虫害的识别方法，包括：
步骤一S101、对苹果树图像进行信息采集；
步骤二S102、对所采集的苹果树图像使用自动色彩增强算法进行图像增强预处理；
步骤三S103、对预处理后的图像使用均值漂移聚类算法进行初步聚类分割，保留图像中枝干、树叶、苹果三部分；
步骤四S104、利用Tamura算法提取步骤三中聚类保留图像的线性度、粗糙度、对比度、方向度四类特征值；
步骤五S105、将步骤四中的四类特征值作为输入量，通过构造和训练得到径向基神经网络模型；
步骤六S106、利用步骤五中得到的径向基神经网络模型与Softmax分类器结合确定苹果树所患病虫害类型。
步骤二中，在图像预处理的过程中使用自动色彩增强算法增强图像去除光照的影响，该算法考虑了图像中颜色和亮度的空间位置关系，进行局部特性的自适应滤波，实现具有局部和非线性特征的图像亮度与色彩调整和对比度调整，同时满足灰色世界理论假设和白色斑点假设，具体步骤如下：
步骤二一：分别对苹果树图像的R、G、B通道进行单独处理，计算每个像素点的R(x)值，进行适应局部图像对比度，Sα(t)能够放大较小的差异，并且丰富大的差异，公式如下：
Figure GDA0004146524120000081
其中，R(x)为计算参数时的中间结果，I(x)、I(y)表示两个不同像素点的亮度，d(x，y)为两个像素点的距离，Sα(t)为坡度函数，α为可调斜率，公式如下：
Figure GDA0004146524120000082
步骤二二：利用下面的公式将R(x)展到[0，1]之间，得到增强后的苹果树图像的R、G、B通道，获得全局白平衡，公式如下：
Figure GDA0004146524120000083
其中，L(x)为归一化后的中间值。
步骤二三：求解最优化问题，获得处理后的苹果树图像，自动色彩增强算法可以看作是对规范的直方图均衡化方法的一种平滑和局部修正的方法，公式如下：
Figure GDA0004146524120000084
其中，ω表示权重，M为相对调节参数，公式如下：
ω(x,y)＝1/||(x-y)||                                  (5)
M＝maxx L(x)                                     (6)
步骤三中，所述均值漂移聚类算法是一种无参数密度估计算法，可以看作是使多个随机中心点向着密度最大的方向移动，最终得到多个最大密度中心，通过算法将所需果树区域初步的分割出来，如图2所示，使用均值漂移聚类算法聚类分割具体过程为：
步骤三一：在未被标记的苹果树图像像素点中随机选择一个点作为初始中心点center；
步骤三二：找出与中心点center亮度差在设定的阈值O之内的所有像素点，记做集合Z，认为这些点属于类c，同时把这些点属于这个类的概率加1；
步骤三三：以center为中心点，计算从中心点center开始到集合Z中每个元素的向量，将这些向量相加，得到偏移向量shift；
步骤三四：中心点center沿着偏移向量shift的方向移动，移动距离是偏移向量的模；
步骤三五：重复步骤三二、三三、三四，直到偏移向量shift迭代到收敛，记住此时的中心点center，这个迭代过程中遇到的点都归到类c中；
步骤三六：如果收敛时当前类c的center与其它已经存在的类中心的亮度差小于阈值，那么把类c与这个类合并，否则把c作为新的类，增加1类；
步骤三七：重复步骤三一、三二、三三、三四、三五直到所有的点都被标记访问；
步骤三八：根据每个类对每个点的访问频率，取访问频率最大的那个类，作为当前点集的所属类，最终完成对苹果树图像的聚类分割。
步骤四中，所述提取的四类特征值分别为：
粗糙度
Figure GDA0004146524120000091
对比度
Figure GDA0004146524120000092
方向度
Figure GDA0004146524120000093
线性度
Figure GDA0004146524120000094
式中k＝0，1，...，5
α4＝μ4/σ4
Sbest(i,j)＝2k
g(i，j)----------分割后苹果树图像灰度中位于(i，j)处像素的灰度值
μ4----------------四次矩
σ2----------------方差
p-----------------分割后苹果树图像灰度直方图中的峰值
np----------------分割后苹果树图像灰度直方图中所有的峰值
Wp--------------对于某个峰值p，Wp代表该峰值所包含的所有的离散区域
Φp---------------波峰中心位置
PDd---------------在距离内的n×n大小的局部方向共生矩阵
步骤五中，所述对已聚类分割后的苹果树图像进行训练识别，如图3所示，具体为：构建径向基神经网络模型，径向基神经网络是一种三层神经网络，其包括输入层、隐层、输出层；从输入空间到隐层空间的变换是非线性的，而从隐层空间到输出层空间变换是线性；构建径向基神经网络模型的具体步骤如下：
步骤五一一：将从分割后苹果树灰度图像中提取的粗糙度、对比度、方向度、线性度四类特征值作为输入层输入矢量，用径向基作为隐单元的“基”构成隐含层空间；
步骤五一二：将隐单元输出的线性加权和作为网络的输出，此处的权即为网络可调参数；
步骤五一三：利用径向基函数、激活函数、损失函数构成线性方程组，网络的权由线性方程组直接解出，进而求出基函数的中心、方差以及隐含层到输出层的权值等三个神经网络的参数；
所采用的径向基函数是高斯核函数，形式为k(||x-xc||)＝exp{-||x-xc||^2/(2*σ)^2)}，其中xc为核函数中心，σ为函数的宽度参数，控制函数的径向作用范围，其具体表述如下：
径向基神经网络的激活函数可表示为：
Figure GDA0004146524120000101
其中xp为第p个输入样本，ci为第i个中心点，h为隐含层的结点数，n是输出的样本数或分类数，径向基神经网络的结构可得到网络的输出为：
Figure GDA0004146524120000102
采用最小二乘的损失函数表示：
Figure GDA0004146524120000103
采用自组织选取中心学习方法进行径向基神经网络的学习训练，其具体表述如下：
步骤五二一：无监督学习过程，求解隐含层基函数的中心与方差；
步骤五二二：有监督学习过程，求解隐含层到输出层之间的权值；
首先，在分割后苹果树灰度图像特征值中选取h个中心做k-means聚类，对于高斯核函数的径向基，方差由公式求解：
Figure GDA0004146524120000104
其中，i＝1，2，…，h；
cmax为所选取中心点之间的最大距离；
隐含层至输出层之间的神经元的连接权值可以用最小二乘法直接计算得到，即对损失函数求解关于权值w的偏导数，使其等于0，可以化简得到计算公式为：
Figure GDA0004146524120000111
其中，p＝1，2，…，P；i＝1，2，…，h；
利用以上公式计算出的各类参数完成径向基神经网络模型的搭建，并且使用该神经网络模型对数据集中的分割后苹果树灰度图像特征值进行训练，得到训练后的特征值并输出。
步骤六中，所述Softmax分类器具体为：应用Softmax回归模型，该模型在处理多分类问题时，类标签y可取得K个不同值；因此，在对于苹果树灰度图像特征值训练集，则有m个已标记样本{(x(1)，y(1))，…，(x(m)，y(m))}，特征向量x的纬度为n+1，其中x0＝1对应截距项；
设输入测试元素为x，则x可表示为经过训练的分割后苹果树灰度图像的特征值，在分类测试过程中，则每种类别j应当存在一个识别概率，因此可将假设函数公式h0(x)设置为：
Figure GDA0004146524120000112
在式(11)中，θ1，θ2，…，θk∈Rn+1通常表示为分类器模型参数，而其中的
Figure GDA0004146524120000113
通常是对分类识别概率数据的一种归一化处理，使得所有概率之和为1，这样做的目的是要提高分类的精度；
在Softmax分类器进行苹果树患病图像分类测算的过程中，若将参数θ以矩阵的形式进行表示，则该矩阵为：
Figure GDA0004146524120000114
Softmax的代价函数J(θ)则为：
Figure GDA0004146524120000115
在Softmax损失函数中对类标记的k个可能值进行累加，根据该代价函数，将x分类为类别j的概率则为：
Figure GDA0004146524120000116
根据对上述公式的求导，得出梯度公式为：
Figure GDA0004146524120000121
通过以上公式的应用完成对经过训练的分割后苹果树灰度图像特征值数据的处理，最终确定苹果树所患病虫害类型为斑点落叶病、轮纹病、褐腐病中的一种。
综上所述，本苹果树病虫害识别算法通过摄像头对自然环境下的苹果树拍照来实现数据图像的采集，对摄像头采集到的数据图像进行运算和分析，去除自然因素的影响，在复杂背景中识别苹果树所患病虫害。本苹果树病虫害识别算法主要包括患病苹果树图像信息采集，图像预处理，初步聚类分割，图像特征提取，训练径向基神经网络模型并结合Softmax分类器五个方面。其中，患病苹果树图像信息采集是本算法的基础，主要采集RGB苹果树图像；图像的预处理是使用自动色彩增强算法去除图像中光照的影响并对图像进行增强；初步聚类分割和图像特征提取是使用均值漂移聚类算法分割苹果树图像(树干、树叶、苹果)，然后使用特征值提取算法提取所需分割保留图像的图像特征；训练径向基神经网络模型是通过构建神经网络模型并将图像特征值作为输入量，通过对数据库内已患病苹果树图像进行训练，得到模型参数，完成径向基神经网络模型搭建，最后与Softmax分类器结合，确定分类器参数，完成三种苹果树病虫害分类识别。
以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于图像处理的苹果树病虫害的识别方法，其特征在于，包括：
步骤一、对苹果树图像进行信息采集；
步骤二、对所采集的苹果树图像使用自动色彩增强算法进行图像增强预处理；
步骤三、对预处理后的图像使用均值漂移聚类算法进行初步聚类分割，保留图像中枝干、树叶、苹果三部分；
步骤四、利用Tamura算法提取步骤三中聚类保留图像的线性度、粗糙度、对比度、方向度四类特征值；
步骤五、将步骤四中的四类特征值作为输入量，通过构造和训练得到径向基神经网络模型；
步骤六、利用步骤五中得到的径向基神经网络模型与Softmax分类器结合确定苹果树所患病虫害类型；
所述对已聚类分割后的苹果树图像进行训练识别，构建径向基神经网络模型的具体步骤如下：
步骤五一一：将从分割后苹果树灰度图像中提取的粗糙度、对比度、方向度、线性度四类特征值作为输入层输入矢量，用径向基作为隐单元的“基”构成隐含层空间；
步骤五一二：将隐单元输出的线性加权和作为网络的输出，此处的权即为网络可调参数；
步骤五一三：利用径向基函数、激活函数、损失函数构成线性方程组，网络的权由线性方程组直接解出，进而求出基函数的中心、方差以及隐含层到输出层的权值三个神经网络的参数；
所采用的径向基函数是高斯核函数，形式为k(||x-xc||)＝exp{-||x-xc||^2/(2*σ^2)}，其中xc为核函数中心，σ为函数的宽度参数，控制函数的径向作用范围，其具体表述如下：
径向基神经网络的激活函数可表示为：
Figure FDA0004146524110000011
其中xp为第p个输入样本，ci为第i个中心点，径向基神经网络的结构可得到网络的输出为：
Figure FDA0004146524110000012
其中，j＝1，2，3，...，n；h为隐含层的结点数；n是输出的样本数；ω为权值；
采用最小二乘的损失函数表示：
Figure FDA0004146524110000021
采用自组织选取中心学习方法进行径向基神经网络的学习训练，其具体表述如下：
步骤五二一：无监督学习过程，求解隐含层基函数的中心与方差；
步骤五二二：有监督学习过程，求解隐含层到输出层之间的权值；
首先，在分割后苹果树灰度图像特征值中选取h个中心做k-means聚类，对于高斯核函数的径向基，方差由公式求解：
Figure FDA0004146524110000022
其中，i＝1，2，…，h；
cmax为所选取中心点之间的最大距离；
隐含层至输出层之间的神经元的连接权值可以用最小二乘法直接计算得到，即对损失函数求解关于权值ω的偏导数，使其等于0，可以化简得到计算公式为：
Figure FDA0004146524110000023
其中，p＝1，2，…，P；i＝1，2，…，h；
利用以上公式计算出的各类参数完成径向基神经网络模型的搭建，并且使用该神经网络模型对数据集中的分割后苹果树灰度图像特征值进行训练，得到训练后的特征值并输出；
步骤六中所述Softmax分类器具体为：应用Softmax回归模型，该模型在处理多分类问题时，类标签y可取得k个不同值；因此，在对于苹果树灰度图像特征值训练集，则有m个已标记样本{(x(1)，y(1))，…，(x(m)，y(m))}，特征向量x的维度为n+1，其中x0＝1对应截距项；
设输入测试元素为x，则x可表示为经过训练的分割后苹果树灰度图像的特征值，在分类测试过程中，则每种类别j应当存在一个识别概率，因此可将假设函数公式h0(x)设置为：
Figure FDA0004146524110000024
在式(16)中，θ1，θ2，…，θk∈Rn+1通常表示为分类器模型参数，而其中的
Figure FDA0004146524110000025
通常是对分类识别概率数据的一种归一化处理，使得所有概率之和为1；
在Softmax分类器进行苹果树患病图像分类测算的过程中，若将参数θ以矩阵的形式进行表示，则该矩阵为：
Figure FDA0004146524110000031
Softmax的代价函数J(θ)则为：
Figure FDA0004146524110000032
在Softmax损失函数中对类标记的k个可能值进行累加，根据该代价函数，将x分类为类别j的概率则为：
Figure FDA0004146524110000033
根据对上述公式的求导，得出梯度公式为：
Figure FDA0004146524110000034
通过以上公式的应用完成对经过训练的分割后苹果树灰度图像特征值数据的处理，最终确定苹果树所患病虫害类型为斑点落叶病、轮纹病、褐腐病中的一种。
2.如权利要求1所述的一种基于图像处理的苹果树病虫害的识别方法，其特征在于，所述步骤二在图像预处理的过程中使用自动色彩增强算法增强图像去除光照的影响，具体步骤如下：
步骤二一：分别对苹果树图像的R、G、B通道进行单独处理，计算每个像素点的R(x)值，公式如下：
Figure FDA0004146524110000035
其中，R(x)为计算参数时的中间结果，I(x)、I(y)表示两个不同像素点的亮度，d(x，y)表示两个像素点的距离，Sα(t)为坡度函数，α为可调斜率，公式如下：
Figure FDA0004146524110000036
步骤二二：利用下面的公式将R(x)展到[0，1]之间，得到增强后的苹果树图像的R、G、B通道，获得全局白平衡，公式如下：
Figure FDA0004146524110000041
其中，L(x)为归一化后的中间值；
步骤二三：求解最优化问题，获得处理后的苹果树图像，公式如下：
Figure FDA0004146524110000042
其中，ω表示权重，M为相对调节参数，公式如下：
ω(x,y)＝1/||(x-y)||                                  (5)
M＝maxx L(x)                                     (6)。
3.如权利要求1或2所述的一种基于图像处理的苹果树病虫害的识别方法，其特征在于，所述步骤三中通过均值漂移聚类算法将所需果树区域初步的分割出来，使用均值漂移聚类算法聚类分割具体过程为：
步骤三一：在未被标记的苹果树图像像素点中随机选择一个点作为初始中心点center；
步骤三二：找出与中心点center亮度差在设定的阈值O之内的所有像素点，记做集合Z，认为这些点属于类c，同时把这些点属于这个类的概率加1；
步骤三三：以center为中心点，计算从中心点center开始到集合Z中每个元素的向量，将这些向量相加，得到偏移向量shift；
步骤三四：中心点center沿着偏移向量shift的方向移动，移动距离是偏移向量的模；
步骤三五：重复步骤三二、三三、三四，直到偏移向量shift迭代到收敛，记住此时的中心点center，这个迭代过程中遇到的点都归到类c中；
步骤三六：如果收敛时当前类c的center与其它已经存在的类中心的亮度差小于阈值，那么把类c与这个类合并，否则把c作为新的类，增加1类；
步骤三七：重复步骤三一、三二、三三、三四、三五直到所有的点都被标记访问；
步骤三八：根据每个类对每个点的访问频率，取访问频率最大的那个类，作为当前点集的所属类，最终完成对苹果树图像的聚类分割。
4.如权利要求3所述的一种基于图像处理的苹果树病虫害的识别方法，其特征在于，所述步骤四中提取的四类特征值分别为：
粗糙度
Figure FDA0004146524110000043
对比度
Figure FDA0004146524110000044
方向度
Figure FDA0004146524110000051
线性度
Figure FDA0004146524110000052
式中
α4＝μ4/σ4
Sbest(i,j)＝2k
k＝0，1，...，5
μ4----------------四次矩
σ2----------------方差
p-----------------分割后苹果树图像灰度直方图中的峰值
np----------------分割后苹果树图像灰度直方图中所有的峰值
Wp--------------对于某个峰值p，Wp代表该峰值所包含的所有的离散区域Φ
p---------------波峰中心位置
PDd---------------在距离内的n×n大小的局部方向共生矩阵。
CN202010419514.6A 2020-05-18 2020-05-18 一种基于图像处理的苹果树病虫害的识别方法 Active CN111598001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010419514.6A CN111598001B (zh) 2020-05-18 2020-05-18 一种基于图像处理的苹果树病虫害的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010419514.6A CN111598001B (zh) 2020-05-18 2020-05-18 一种基于图像处理的苹果树病虫害的识别方法

Publications (2)

Publication Number Publication Date
CN111598001A CN111598001A (zh) 2020-08-28
CN111598001B true CN111598001B (zh) 2023-04-28

Family

ID=72189824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010419514.6A Active CN111598001B (zh) 2020-05-18 2020-05-18 一种基于图像处理的苹果树病虫害的识别方法

Country Status (1)

Country Link
CN (1) CN111598001B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365992A (zh) * 2020-11-27 2021-02-12 安徽理工大学 一种基于nrs-lda的医疗体检数据识别分析方法
CN113077452B (zh) * 2021-04-09 2022-07-15 电子科技大学成都学院 基于dnn网络和斑点检测算法的苹果树病虫害检测方法
CN113705388B (zh) * 2021-08-13 2024-01-12 国网湖南省电力有限公司 基于摄像信息实时定位多人空间位置的方法及系统
CN116310913B (zh) * 2023-05-12 2023-07-25 江苏苏海信息科技(集团)有限公司 基于小型无人机测量技术的自然资源调查监测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034872A (zh) * 2012-12-26 2013-04-10 四川农业大学 基于颜色和模糊聚类算法的农田害虫识别方法
CN104134080A (zh) * 2014-08-01 2014-11-05 重庆大学 一种道路路基塌陷和边坡坍塌的自动检测方法及系统
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
CN106778786A (zh) * 2016-12-29 2017-05-31 西京学院 基于对数频域分层梯度方向直方图的苹果病害识别方法
WO2017194276A1 (en) * 2016-05-13 2017-11-16 Basf Se System and method for detecting plant diseases
US9886945B1 (en) * 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
CN107844771A (zh) * 2017-11-03 2018-03-27 深圳春沐源控股有限公司 农作物生产管理的方法、系统、计算机装置及存储介质
CN109344699A (zh) * 2018-08-22 2019-02-15 天津科技大学 基于分层深度卷积神经网络的冬枣病害识别方法
CN110222696A (zh) * 2019-04-16 2019-09-10 天津科技大学 一种利用GPCNNs和ELM进行植物叶片疾病识别的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
US8428363B2 (en) * 2011-04-29 2013-04-23 Mitsubishi Electric Research Laboratories, Inc. Method for segmenting images using superpixels and entropy rate clustering
CN103955702B (zh) * 2014-04-18 2017-02-15 西安电子科技大学 基于深度rbf网络的sar图像地物分类方法
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN106971160A (zh) * 2017-03-23 2017-07-21 西京学院 基于深度卷积神经网络和病害图像的冬枣病害识别方法
US11100264B2 (en) * 2017-05-12 2021-08-24 Harris Lee Cohen Computer-implemented methods, computer readable medium and systems for a precision agriculture platform that integrates a satellite date model and an orchard data model
CN108537751B (zh) * 2018-03-31 2022-05-24 华南理工大学 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN109871900A (zh) * 2019-03-06 2019-06-11 哈尔滨理工大学 一种基于图像处理的复杂背景下苹果的识别定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886945B1 (en) * 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
CN103034872A (zh) * 2012-12-26 2013-04-10 四川农业大学 基于颜色和模糊聚类算法的农田害虫识别方法
CN104134080A (zh) * 2014-08-01 2014-11-05 重庆大学 一种道路路基塌陷和边坡坍塌的自动检测方法及系统
CN104598908A (zh) * 2014-09-26 2015-05-06 浙江理工大学 一种农作物叶部病害识别方法
WO2017194276A1 (en) * 2016-05-13 2017-11-16 Basf Se System and method for detecting plant diseases
CN106778786A (zh) * 2016-12-29 2017-05-31 西京学院 基于对数频域分层梯度方向直方图的苹果病害识别方法
CN107844771A (zh) * 2017-11-03 2018-03-27 深圳春沐源控股有限公司 农作物生产管理的方法、系统、计算机装置及存储介质
CN109344699A (zh) * 2018-08-22 2019-02-15 天津科技大学 基于分层深度卷积神经网络的冬枣病害识别方法
CN110222696A (zh) * 2019-04-16 2019-09-10 天津科技大学 一种利用GPCNNs和ELM进行植物叶片疾病识别的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xinglong Jia等.Plant Diseases Recognition Based on Image Processing Technology.《Journal of Electrical and Computer Engineering》.2018,第2018卷第1-7页. *
费运巧.森林病虫害图像分析算法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2016,(第9期),I138-567. *

Also Published As

Publication number Publication date
CN111598001A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598001B (zh) 一种基于图像处理的苹果树病虫害的识别方法
Li et al. Apple leaf disease identification and classification using resnet models
AU2020102885A4 (en) Disease recognition method of winter jujube based on deep convolutional neural network and disease image
Kuricheti et al. Computer vision based turmeric leaf disease detection and classification: a step to smart agriculture
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
Raut et al. Plant disease detection in image processing using MATLAB
Cai et al. A novel hyperspectral image classification model using bole convolution with three-direction attention mechanism: small sample and unbalanced learning
Almogdady et al. A flower recognition system based on image processing and neural networks
CN112464942B (zh) 基于计算机视觉的重叠烟叶智能化分级方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
Patil et al. Grape leaf disease detection using k-means clustering algorithm
CN111860330A (zh) 基于多特征融合和卷积神经网络的苹果叶部病害识别方法
Saha et al. Orange fruit disease classification using deep learning approach
Kaleem A modern approach for detection of leaf diseases using image processing and ML based SVM classifier
CN113077452B (zh) 基于dnn网络和斑点检测算法的苹果树病虫害检测方法
Rajput et al. Soybean leaf diseases detection and classification using recent image processing techniques
Talasila et al. PLRSNet: a semantic segmentation network for segmenting plant leaf region under complex background
Cho Content-based structural recognition for flower image classification
Poojari et al. Identification and solutions for grape leaf disease using convolutional neural network (CNN)
Bandara et al. Detection and classification of rice plant diseases using image processing techniques
Shireesha et al. Citrus fruit and leaf disease detection using DenseNet
CN115601634A (zh) 一种基于层次性注意力机制的图像叶片识别方法及装置
Moharekar et al. Detection and classification of plant leaf diseases using convolution neural networks and streamlit
SahayaMerlin et al. A Novel Approach to Detect and Classify Leaf Diseases Based on Image Processing
Mane et al. Basil leaf disease detection and classification using customized convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Xue Nan

Inventor after: Wang Peng

Inventor after: Jiang Yuliang

Inventor after: Li Dongbin

Inventor before: Wang Peng

Inventor before: Jiang Yuliang

Inventor before: Xue Nan

Inventor before: Li Dongbin

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231019

Address after: Room 521-9, Science Park, Harbin University of technology, No. 52 Xuefu Road, Nangang District, Harbin City, Heilongjiang Province

Patentee after: Harbin penglu Intelligent Technology Co.,Ltd.

Address before: 150080 No. 52, Xuefu Road, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN University OF SCIENCE AND TECHNOLOGY