CN104063686B - 作物叶部病害图像交互式诊断系统与方法 - Google Patents

Abstract

本发明涉及一种基于智能手机与云端的作物叶部病害图像交互式诊断系统与方法，系统包括通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙进行数据通讯的手机客户端和云端。本发明利用智能手机拍摄作物病害图片后进行预处理、病斑分割和特征提取，再把特征提取数据发送到云端进行病害的分类识别，最后将诊断结果反馈到手机上，实现低成本、移动型的作物病害智能化诊断。本发明将将运算量大的分类识别图像处理过程和病害特征库放在云端，节约了手机端的网络流量和耗电量，提高病害识别速度，利用了手机拍摄图像的便携性与云端计算的高效性，为作物病害现场、实时诊断提出了一种切实可行的方法。

Description

作物叶部病害图像交互式诊断系统与方法

技术领域

本发明涉及一种交互式诊断系统与方法，具体涉及一种基于智能手机与云端的作物叶部病害图像交互式诊断系统与方法。

背景技术

作物生长期内会发生很多病害，尤其是温室大棚里很多病害潜伏期短，发病快。有些农户不能掌握相关病害知识，因而防效差、损失重，病害严重，进而导致大幅减产。因此，病害是制约作物生长的重要因素。传统的作物病害诊断一般通过经验来判断，容易引起人为误判。随着数字图像处理技术的迅速发展、计算机视觉技术的广泛应用和各种模式识别技术的日趋成熟，采用图像处理技术来分析作物病害，并准确地给出病害类别，为作物病害的无损检测、快速诊断提供了新的途径和方法。由于通信基础设施扩张到6亿人口的农村地区，互联网和手机在中国获得更快速的普及。开展基于图像的作物病害识别在手机上的应用相关研究，可以让农民更快捷方便地获取作物病害诊断结果。随着手机拍摄像素不断的提高，带有摄像头的智能手机价格不断降低，通过智能手机获取田间现场图片将逐渐成为主要的低成本图像采集方式。

由于Android操作系统具有开源、智能和开发简单等优势，成为目前最流行的智能手机操作系统之一。目前，基于Android平台的作物病害图像诊断有两种方式：一种是利用手机拍摄作物病害图片，然后通过网络传输发送到服务器上进行处理，最后把处理结果反馈到手机上；一种是利用手机拍摄作物病害图片，然后直接在手机端对图像进行相关处理，最后显示诊断结果。前一种方式中发送手机图片比较大(500万像素的手机单幅图片大小约2-4Mb)，不仅耗费网络流量，而且容易受到网络限制出现的网络传输错误、发送延迟等现象；后一种方式由于受到手机端软硬件的限制，存在程序运行速度缓慢、运算能耗大等问题。因此，研究一种既能快速、准确对作物病害进行诊断，又能节约成本的方法与系统是必要的。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供一种基于智能手机与云端的作物叶部病害图像交互式诊断系统与方法。利用智能手机拍摄田间作物病害信息，然后在手机端进行相关预处理、病斑分割和特征提取，再把特征提取后的数据打包发送到云端进行病害的分类识别，最后将诊断结果反馈到手机上，实现低成本、移动型的作物病害智能化诊断。

为了实现上述目的，本发明提供的一种作物叶部病害图像交互式诊断系统，包括手机客户端和云端，其中手机客户端主要包括图像采集模块、图像预处理模块、图像分割模块、特征提取模块、信息传输模块和诊断结果显示模块，云端主要包括分类识别模块、信息反馈模块和数据管理模块；手机客户端和云端通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙进行数据通讯。

一种基于智能手机与云端的作物叶部病害图像交互式诊断的方法，包括以下步骤：

(1)收集作物叶部病害图像建立数据库；

(2)通过手机摄像头对作物病害处进行拍照；

(3)对手机拍摄的图像进行标准化压缩并去除图像中的噪声；

(4)对预处理后的图像进行病斑提取；

(5)对病斑进行颜色、形状和纹理特征提取和优化；

(6)把提取的特征以数据流的形式通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙发送到云端；

(7)在云端调用病害诊断模型进行病害的分类识别；

(8)把病害诊断结果和防治方法通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙反馈到手机中。

步骤(3)中对手机拍摄的图像进行标准化压缩并去除图像中的噪声的具体步骤为：

(3.1)采用LZW编码方式对图像进行压缩至640×480像素大小。

(3.2)然后对其进行去噪处理，针对当前手机CMOS传感器拍照容易造成的高斯和椒盐噪声，采用高斯滤波器对图像进行滤波。

步骤(4)中对预处理后的图像进行病斑提取的具体步骤为：

(4.1)对图片采用一种新的阈值化方法对原始病害图像的红色分量进行二值化处理：计算红色分量图像的灰度均值，记为tgray；统计红色分量图像灰度大于tgray的像素，计算灰度均值，记为tgrayhigh，即为初始分割的阈值；对原始红色分量图像进行阈值分割，得到两部分：其中灰度值小于tgrayhigh的像素的灰度设为0，归为初始背景类；其他像素的灰度值不变，归为混合类。

(4.2)融合纹理、灰度、距离三个特征构建能量函数的边界项，描述像素间的相似性：

通过构建边界平滑项，其中，t_p,q为纹理特征；r_p,q为灰度特征；d_p,q为距离特征。为了将不同量纲、不同数量级大小的三个特征进行融合，对每一项均采用最大最小值法进行归一化处理，即：

其中，t_p、r_p分别为纹理图像中像素的纹理值和红色分量图像像素的灰度值，

为像素p、q间的欧式距离，x_p、y_p分别为像素p在图像坐标系上的横纵坐标。

(4.3)利用分割区域像素与区域边界像素的红色分量差值自动建立能量函数的区域项，反映像素归属于背景和目标的程度：分别计算分割区域像素灰度值与区域边界像素灰度值tgrayhigh和255的绝对差值，自动建立能量函数的区域项：

(4.4)根据能量函数构建网络图，运用最大流算法求解能量函数得到分割结果。

步骤(5)中对病斑进行颜色、形状和纹理特征提取和优化的具体步骤为：

(5.1)颜色特征提取，采用基于结合颜色直方图和颜色矩的特征统计方法来比较RGB和HIS两个颜色空间模型，选择B和H通道下的颜色矩(一阶矩、二阶矩和三阶矩)共计6个颜色特征作为识别病斑的特征向量；

(5.2)纹理特征提取，将彩色图像进行二值化处理，转化为灰度图像，将灰度直方图从256级降到16级，求出四个方向上的灰度共生矩阵，构造灰度共生矩阵特征中的能量均值、能量标准差、熵均值、熵标准差、对比度均值和对比度标准差，共6个纹理特征参数。

(5.3)形状特征提取，采用链码法构造区域描述特征形状，包括圆度、矩形度、离心率、球状比、紧密度、伸长度、形状参数。

(5.4)颜色、形状和纹理特征的优化，采用兼顾时间和速度的主成分分析法(PCA)来优化上述颜色、形状和纹理特征，选择出累计贡献率高的、能代表原始特征数据的主分量作为分类识别的输入量，即最终的核心特征。

本发明将手机作为拍摄图片、图片预处理、特征提取、数据传输和显示诊断结果的工具，将运算量大的分类识别图像处理过程和病害特征库放在云端。节约手机端的网络流量和耗电量，也提高了病害识别速度。一般500万像素的手机获取的图片大小约2-4Mb，处理后的特征数据包一般只有几十Kb，大大节约了网络流量，减少使用成本，提高了传输速度。本发明方法综合利用了手机拍摄图像的便携性与云端计算的高效性，为作物病害现场、实时诊断提出了一种切实可行的方法。

附图说明

图1是本发明方法的作物叶部病害图像处理流程图。

图2是本发明方法的系统框架图。

图3是本发明方法的图像分割部分算法流程图。

图4是手机端黄瓜病害图像分割前后对比图

图5是手机端水稻病害图像分割前后对比图。

具体实施方式

以下结合附图详细说明本发明技术方法中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明的作物叶部病害图像交互式诊断系统包括手机客户端和云端，其中手机客户端主要包括图像采集模块、图像预处理模块、图像分割模块、特征提取模块、信息传输模块和诊断结果显示模块，云端主要包括分类识别模块、信息反馈模块和数据管理模块；手机客户端和云端通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙进行数据通讯。

如图2所示，本发明的基于智能手机与云端的作物叶部病害图像交互式诊断的方法：

收集作物叶部病害图像建立数据库。选用分类性能高的最小二乘支持向量机(LS-SVM)分类器，既能保证较高的识别率也能尽量减少存储空间和计算时间。通过实验比较线性、多项式、径向基和Sigmoid函数，最终选择出识别正确率高的核函数。采用LS-SVMlab对提取的特征数据进行分类训练和测试。分类方法采用C-SVC，基于惩罚函数的SVM进行分类，核函数选用径向基函数，通过使用LS-SVMlab提供的grid.py模块，自动确定惩罚因子和径向基函数中gamma值的最佳参数，通过训练取得模型。通过Lib-SVM所提供的预测函数和训练得到的模型对选取测试样本进行训练。

通过手机摄像头对作物病害处进行拍照。采用LZW编码方式对手机拍摄的图像进行压缩至640×480像素大小然后对其进行去噪处理，针对当前手机CMOS传感器拍照容易造成的高斯和椒盐噪声，采用高斯滤波器对图像进行滤波。

如图3所示，对预处理后的图像进行病斑提取：计算红色分量图像的灰度均值，记为tgray；统计红色分量图像灰度大于tgray的像素，计算灰度均值，记为tgrayhigh，即为初始分割的阈值；对原始红色分量图像进行阈值分割，得到两部分：其中灰度值小于tgrayhigh的像素的灰度设为0，归为初始背景类；其他像素的灰度值不变，归为混合类；合纹理、灰度、距离三个特征构建能量函数的边界项，描述像素间的相似性，通过

构建边界平滑项，其中，t_p,q为纹理特征；r_p,q为灰度特征；d_p,q为距离特征。为了将不同量纲、不同数量级大小的三个特征进行融合，对每一项均采用最大最小值法进行归一化处理，

其中，t_p、r_p分别为纹理图像中像素的纹理值和红色分量图像像素的灰度值，为像素p、q间的欧式距离，x_p、y_p分别为像素p在图像坐标系上的横纵坐标；利用分割区域像素与区域边界像素的红色分量差值自动建立能量函数的区域项，反映像素归属于背景和目标的程度：分别计算分割区域像素灰度值与区域边界像素灰度值tgrayhigh和255的绝对差值，

自动建立能量函数的区域项

根据能量函数构建网络图，运用最大流算法求解能量函数得到分割结果。如图4、图5别是手机端黄瓜病害和水稻病害图像分割前后对比图。

对病斑进行颜色特征提取，采用基于结合颜色直方图和颜色矩的特征统计方法来比较RGB和HIS两个颜色空间模型，选择B和H通道下的颜色矩(一阶矩、二阶矩和三阶矩)共计6个颜色特征作为识别病斑的特征向量；对病斑进行纹理特征提取，将彩色图像进行二值化处理，转化为灰度图像，将灰度直方图从256级降到16级，求出四个方向上的灰度共生矩阵，构造灰度共生矩阵特征中的能量均值、能量标准差、熵均值、熵标准差、对比度均值和对比度标准差，共6个纹理特征参数；对病斑进行形状特征提取，采用链码法构造区域描述特征形状，包括圆度、矩形度、离心率、球状比、紧密度、伸长度、形状参数；对病斑进行颜色、形状和纹理特征的优化，采用兼顾时间和速度的主成分分析法(PCA)来优化上述颜色、形状和纹理特征，选择出累计贡献率高的、能代表原始特征数据的主分量作为分类识别的输入量，即最终的核心特征。

将提取的特征以数据流的形式通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙发送到云端，在云端调用病害诊断模型进行病害的分类识别，再将病害诊断结果和防治方法通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙反馈到手机中。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理想得到的变换和改型，也应视为被涵盖在本发明的保护范围之内。

Claims (2)

1.一种作物叶部病害图像交互式诊断系统的诊断方法，其特征在于：包括以下步骤：

(1)收集作物叶部病害图像建立数据库；

(2)通过手机摄像头对作物病害处进行拍照；

(3)对手机拍摄的图像进行标准化压缩并去除图像中的噪声，包括以下步骤：

(3.1)采用LZW编码方式对图像进行压缩至640×480像素大小；

(3.2)然后对其进行去噪处理，针对当前手机CMOS传感器拍照容易造成的高斯和椒盐噪声，采用高斯滤波器对图像进行滤波；

(4)对预处理后的图像进行病斑提取，包括以下步骤：

(4.1)对图片采用一种新的阈值化方法对原始病害图像的红色分量进行二值化处理：计算红色分量图像的灰度均值，记为tgray；统计红色分量图像灰度大于tgray的像素，计算灰度均值，记为tgrayhigh，即为初始分割的阈值；对原始红色分量图像进行阈值分割，得到两部分：其中灰度值小于tgrayhigh的像素的灰度设为0，归为初始背景类；其他像素的灰度值不变，归为混合类；

(4.2)融合纹理、灰度、距离三个特征构建能量函数的边界项，描述像素间的相似性：

通过构建边界平滑项，其中，t_p,q为纹理特征；r_p,q为灰度特征；d_p,q为距离特征；为了将不同量纲、不同数量级大小的三个特征进行融合，对每一项均采用最大最小值法进行归一化处理，即：

其中，t_p、r_p分别为纹理图像中像素的纹理值和红色分量图像像素的灰度值，为像素p、q间的欧式距离，x_p、y_p分别为像素p在图像坐标系上的横纵坐标；

(4.3)利用分割区域像素与区域边界像素的红色分量差值自动建立能量函数的区域项，反映像素归属于背景和目标的程度：分别计算分割区域像素灰度值与区域边界像素灰度值tgrayhigh和255的绝对差值，自动建立能量函数的区域项：

(4.4)根据能量函数构建网络图，运用最大流算法求解能量函数得到分割结果；

(5)对病斑进行颜色、形状和纹理特征提取和优化；

(6)把提取的特征以数据流的形式通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙发送到云端；

(7)在云端调用病害诊断模型进行病害的分类识别；

(8)把病害诊断结果和防治方法通过GPRS、3G、4G、WiFi、WiFi Direct或蓝牙反馈到手机中。

2.根据权利要求1所述的作物叶部病害图像交互式诊断系统的诊断方法，其特征在于：所述步骤(5)的具体步骤为：

(5.1)颜色特征提取，采用基于结合颜色直方图和颜色矩的特征统计方法来比较RGB和HIS两个颜色空间模型，选择B和H通道下的颜色矩共计6个颜色特征作为识别病斑的特征向量；

(5.2)纹理特征提取，将彩色图像进行二值化处理，转化为灰度图像，将灰度直方图从256级降到16级，求出四个方向上的灰度共生矩阵，构造灰度共生矩阵特征中的能量均值、能量标准差、熵均值、熵标准差、对比度均值和对比度标准差，共6个纹理特征参数；

(5.3)形状特征提取，采用链码法构造区域描述特征形状，包括圆度、矩形度、离心率、球状比、紧密度、伸长度、形状参数；

(5.4)颜色、形状和纹理特征的优化，采用兼顾时间和速度的主成分分析法来优化上述颜色、形状和纹理特征，选择出累计贡献率高的、能代表原始特征数据的主分量作为分类识别的输入量，即最终的核心特征。