CN112164041A - 基于多尺度深度神经网络的黄龙病自动诊疗系统及方法 - Google Patents

Abstract

本发明公开了一种基于多尺度深度神经网络的黄龙病自动诊疗系统及方法，包括服务器、PC端、移动端、摄像机和无人机，服务器和移动端之间、摄像机和服务器之间以及无人机和服务器之间均通过无线网络连接；在服务器上基于多尺度深度神经网络，对黄龙病自动检测，并与无人机联动自动施药；专家可通过系统远程指导和干预，确认是否是黄龙病、病因、病种并给出下一步处理措施的建议，解决了农民没有专业知识的问题。

Description

基于多尺度深度神经网络的黄龙病自动诊疗系统及方法

技术领域

本发明涉及黄龙病智能识别技术领域，具体涉及一种基于多尺度深度神经网络的黄龙病自动诊疗系统及方法。

背景技术

黄龙病是由一种限于韧皮部内寄生的革兰氏阴性细菌引起的全株性、系统性、毁灭性、传染性病害，该病能够侵染包括柑橘属、枳属、金柑属和九里香等多种芸香科植物，柑橘一旦感染黄龙病后，树势衰退较快，果实丧失商品价值，根治困难，是柑橘生产上的头号“杀手”。该病至今尚未理想的治疗方法，只能通过种植无病毒苗、挖除病株、防控柑橘木虱或隔离种植等方法来控制蔓延。

对于柑橘生产来说黄龙病是一种毁灭性的病害，它严重阻碍了柑橘的生产和发展。并且黄龙病同样是脐橙、广佛手、柚子等作物的天敌，而传统的黄龙病的检测存在以下问题：

第一，采用人工检测，费时又费力，而利用专业设备检测成本又较高，不利于推广；

第二，传统的检测方法多适用于实验室，适合对单片或少量树叶样本的检测，并不适用于田间大范围应用；

第三，传统的检测方法要求有专业设备和操作人员具有一定的专业知识，并不适用于农民使用；

因此，如何提供一种适用于田间且检测方便简单的黄龙病的诊疗系统是目前亟待解决的问题。

发明内容

针对上述存在的问题，本发明旨在提供一种基于多尺度深度神经网络的黄龙病自动诊疗系统，并应用在上述作物黄龙病的自动检测和治疗，具有广泛的应用前景。

为了实现上述目的，本发明所采用的技术方案如下：

基于多尺度深度神经网络的黄龙病自动诊疗系统，其特征在于，包括服务器、客户端、摄像机以及无人机，客户端、摄像机和无人机，摄像机和服务器之间以及无人机和服务器之间均通过无线网络连接，服务器和客户端之间通过网络连接；

所述摄像机用于实时采集田间植株的图像以及实时监控田间，并将采集到的图像通过无线网络传回到服务器；

所述无人机用于对出现黄龙病的植株进行精准定位和喷洒；

所述服务器包括图像处理模块，所述图像处理模块用于接收摄像机传回的植物图像并通过多尺度深度神经网络对图片进行处理并输出诊疗结果；

所述客户端包括移动端和PC端，用于查看监控、专家远程会诊以及操控无人机自动或者手动施药；

其中，所述移动端与服务器之间通过无线网络连接，所述PC端和服务器之间通过有线网络连接。

进一步地，所述无人机上安装有图像采集设备和喷洒装置，分别用于精确定位和导航以及喷洒施药。

进一步地，所述移动端还能拍摄植株照片并直接上传至服务器进行黄龙病诊断。

进一步地，所述客户端上还安装有诊疗应用，该诊疗客户端账号分为普通账号、管理员账号、专家账号，用于对不同账户进行管理和使用。

基于多尺度深度神经网络的黄龙病自动诊疗方法，其特征在于：具体的诊疗步骤包括：

步骤1：利用摄像机进行田间植株图像采集，并将检测到的图像传回至服务器；

步骤2：服务器上的图像处理模块对采集到的图像通过多尺度深度神经网络进行处理，输出诊疗结果；

步骤3：根据系统预设的是否需要专家会诊的值，判断是否需要专家会诊：如果需要会诊则将诊疗结果发送到客户端，专家使用专家号登录诊疗客户端后进行人工会诊并给出诊疗结果；如果不需要专家会诊则进入步骤4；

步骤4：根据诊疗结果，启动无人机手动或自动导航控制进行定位和喷洒施药。

进一步地，步骤2的具体操作步骤包括：

步骤21：输入采集到的图像；

步骤22：建立多尺度深度神经网络并将图像输入到其中，从特征图中提取信息；

步骤33：输出诊断结果。

进一步地，所述多尺度深度神经网络包括卷积层、8个基本块A、3个基本块B、3个池化层、全局平均池化层和二元分类层；

基本块A由3个并行卷积层组成，大小分别为1×1、3×3、5×5，且将5×5的大卷积核分解为两个3×3小卷积核；并在并行的卷积层后添加批量归一化层，使用求和层合并三个并行的卷积层的输出；并且在基本块A输出前加入ReLu激活函数层，采用ReLu作为激活函数，用于增强特征表达能力；

对于中等大小的特征图，在基本块A的基础上，采用非对称分解技术，得到基本块B，即将3个并行的卷积层中的3×3卷积核分解为两个1×3和3×1的卷积核，用于减少参数量；

利用快捷连接融合基本块A和基本块B中的特征图，用于形成语义丰富的新特征图。

进一步地，所述快捷连接融合基本块的特征图的具体操作步骤包括：

步骤1：如果连接的基本块A和基本块B的特征图尺寸不同，先将特征图经过核为3×3，步长为2的卷积层，得到大小相等、维度相同的特征图，进入步骤2；如果连接的基本块A和基本块B的特征图尺寸相同则直接进入步骤2；

步骤2：将两个大小、通道维度相同的特征图，按照对应元素相加的方式得到新的特征图。

本发明的有益效果包括：

第一，本发明中的系统通过固定摄像机与无人机联动，进行自动检测和自动施药，节省了大量的人力和物力；

第二，本发明中的系统专家可通过系统远程确认是否是黄龙病、病因、病种等，并对下一步的处理措施给出建议，解决了农民没有专业知识的问题。

第三，本发明中的系统成本低廉、覆盖范围大，适用于田间大范围应用。

附图说明

图1为基于多尺度深度神经网络的黄龙病自动诊疗系统的结构图；

图2为多尺度深度神经网中的基本块的结构示意图；

图3为多尺度卷积神经网络结构示意图；

图4为快捷连接的原理示意图；

图5为多尺度卷积神经网络的工作过程示意图。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

参考附图1可知，基于多尺度深度神经网络的黄龙病自动诊疗系统，其特征在于，包括服务器、客户端、摄像机以及无人机，客户端、摄像机和无人机，摄像机和服务器之间以及无人机和服务器之间均通过无线网络连接，服务器和客户端之间通过网络连接；

所述摄像机用于实时采集田间植株的图像以及实时监控田间，并将采集到的图像通过无线网络传回到服务器；

所述无人机用于对出现黄龙病的植株进行精准定位和喷洒；

所述服务器包括图像处理模块，所述图像处理模块用于接收摄像机传回的植物图像并通过多尺度深度神经网络对图片进行处理并输出诊疗结果；

所述客户端包括移动端和PC端，用于查看监控、专家远程会诊以及操控无人机自动或者手动施药。

进一步地，所述无人机上安装有图像采集设备和喷洒装置，分别用于精确定位和导航以及喷洒施药。

进一步地，所述移动端还能拍摄植株照片并直接上传至服务器进行黄龙病诊断。

进一步地，所述客户端上还安装有诊疗客户端，专家可以通过移动端或者PC端上的诊疗客户端登录，进行远程会诊，来帮助确认是否该植株患有黄龙病以及黄龙病的病因、病种；

所述诊疗客户端账号分为普通账号、管理员账号、专家账号，用于对不同账户进行管理和使用，管理员账号登录主要用于系统的管理和账号分配；专家账号登录后为专家客户端，用于对收到的服务器传来的诊断结果进行确认或者修改，给出专家建议的诊断结果；果农通过普通账号登录，用于查看监控信息。

进一步地，基于多尺度深度神经网络的黄龙病自动诊疗方法，具体的诊疗步骤包括：

步骤1：开启摄像机进行田间植株图像采集，并将检测到的图像传回至服务器；

步骤2：服务器上的图像处理模块对采集到的图像通过多尺度深度神经网络进行处理，输出诊疗结果；

步骤3：根据系统预设的是否需要专家会诊的值，判断是否需要专家会诊：如果需要会诊则将诊疗结果发送到客户端，专家使用专家号登录诊疗客户端后进行人工会诊并给出诊疗结果；如果不需要专家会诊则进入步骤4；

步骤4：根据诊疗结果，启动无人机手动或自动导航控制进行定位和喷洒施药。

进一步地，步骤2的具体操作步骤包括：

步骤21：输入采集到的图像；

步骤22：建立多尺度深度神经网络并将图像输入到其中，从特征图中提取信息；

步骤33：输出诊断结果。

进一步地，所述多尺度深度神经网络包括一个基本块，该基本块由若干个并行卷积层组成，这些层具有相同数量的卷积核，它们的卷积核大小不同；

每个卷积层后面都有一个批处理规范化来规范化卷积层的输出，提高模型训练速度，且将基本块中的大卷积核分解为多个小卷积核，并进一步采用非对称分解技术，减少参数量，使得多尺度卷积核具有利于提取变化和多样的外形特征；

基于基本块，构建完成多尺度深度神经网络，并使用快捷连接来融合不同尺寸基本块的特征图，从较大基本块的特征图中获取丢失的细节信息，提高特征的表征能力。

进一步地，多尺度卷积神经网络的结构如附图3所示，由卷积层、8个基本块A、3个基本块B、3个池化层、全局平均池化层和二元分类层组成，并使用快捷连接(shortcutconnection)来融合不同尺寸基本块的特征图，可以从较大基本块的特征图中获取丢失的细节信息。

其中基本块B可减少参数量和避免过拟合，基本块A可保证得到中等大小的特征图(尺寸在12～20之间)，从而保证基本块B卷积核的非对称分解效果最好。

参考附图2(a)为基本块A的结构，从图中可以看出，基本块A由3个并行卷积层组成，不同层的卷积核大小不同，其大小分别为1×1、3×3、5×5，对输入同时执行3个不同大小的卷积操作(1×1、3×3、5×5)，且为了减少参数量，将5×5的大卷积核分解为两个3×3小卷积核；

并且在并行的卷积层后添加批量归一化层(BN：Batch Normalization)，这是由于神经网络学习过程本质上是为了学习数据的分布，一旦训练数据与测试数据的分布不同，网络的泛化能力也大大降低。随着神经网络深度加深，训练起来越困难，在网络训练的时候，每批训练数据的分布不相同，网络就要在每次迭代的时候去学习以适应不同的分布，这样会影响网络的学习能力，因此为了保证在深度神经网络训练过程中，每一层神经网络的输入保持相同分布的，可用批量归一化来解决这个问题；

使用求和层(Add层)合并三个并行的卷积层的输出；

为了进一步增强模型的表达能力，在基本块A输出前加入ReLu激活函数层，采用ReLu作为激活函数，用于增强特征表达能力；在卷积神经网络中，通过激活函数来向神经网络中引入非线性因素拟合各种曲线，增强网络的特征表达能力。常见的激活函数有Sigmoid、Tanh、ReLu等，Sigmoid函数作为最经典的激活函数之一被广泛使用，但是sigmoid函数存在数值饱和和梯度消失的问题。ReLu是最著名的非饱和非线性函数之一，它避免了数值饱和和梯度消失的问题，具有计算量小于sigmoid的优点；

卷积核的非对称分解可减少参数量，尤其对于中等大小的特征图(尺寸在12～20之间)，卷积核的非对称分解效果非常好，因此，在基本块A的基础上，采用非对称分解技术，得到基本块B，且基本块B的结构可参考附图2(b)，从图中可以看出，基本块B在基本块A的基础上将3个并行的卷积层中的3×3卷积核分解为两个1×3和3×1的卷积核，在基本块A的基础上插入基本块B，利用基本块A保证基本块B需要的中等特征图，利用基本块B减小参数量；

卷积神经网络在池化的过程中往往会伴随着信息的丢失，在本发明的模型中通过快捷连接方式连接不同尺度基本块的特征图，从较大基本块的特征图中获取丢失的细节信息，并形成语义丰富的新特征图利用快捷连接融合基本块A和基本块B中的特征图，用于形成语义丰富的新特征图。

进一步地，参考附图3、4看出，所述快捷连接融合基本块的特征图的具体操作步骤包括：

步骤1：如果连接的基本块A和基本块B的特征图尺寸不同，先将特征图经过核为3×3，步长为2的卷积层，得到大小相等、维度相同的特征图，进入步骤2；如果连接的基本块A和基本块B的特征图尺寸相同则直接进入步骤2；

步骤2：将两个大小、通道维度相同的特征图，按照对应元素相加的方式得到新的特征图。

实施例：

首先，根据需要监控的果园的大小、地形等因素，在田间安装多个摄像机，用于监控和采集果园中植株的图像；

其次，通过网上收集和手工拍摄的图片构建测试数据集，建立的数据集如表1所示：

表1

图像类型	图像数(幅)
		健康	855
黄龙病-斑驳	618
		黄龙病-缺锌状	330
黄龙病-叶脉黄化	317
		黄龙病-均匀黄化	351

再次，将采集到的植株的图像传回到服务器中，通过服务器中的多尺度深度神经网络对图像进行检测，得出最终的诊断结果；

其中，多尺度卷积神经网络的工作过程如附图5所示，其在训练阶段，将训练库中的图像和已知结果输入多尺度卷积神经网络，根据自动得到的识别结果与真实结果，反复自动调整网络参数，实现对网络的训练；

在训练完成后，将采集到的植株图像输入多尺度卷积神经网络后就能自动得到识别结果；

最后，根据得出的诊断结果来对无人机进行操控，进行手动或者自动喷洒施药。

实验结果：

为了验证模型的有效性，将本模型与传统的卷积神经网络模型进行了比较，传统的卷积神经网络模型包括ZF-Net、VGG16、Inceptionv3和DenseNet四种。

表2给出了利用不同的深度神经网络对采集到的图像进行检测的识别结果：

表2

从表2可以看出，本发明中的方法在与其它深度卷积神经网络模型的对比中，本模型准确率最高，比一般方法提高了2％以上，与DenseNet相近；但本模型的大小是DenseNet的1/5，检测速度是DenseNet的近6倍。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于多尺度深度神经网络的黄龙病自动诊疗系统，其特征在于，包括服务器、客户端、摄像机以及无人机，客户端、摄像机和无人机，摄像机和服务器之间以及无人机和服务器之间均通过无线网络连接，服务器和客户端之间通过网络连接；

所述摄像机用于实时采集田间植株的图像以及实时监控田间，并将采集到的图像通过无线网络传回到服务器；

所述无人机用于对出现黄龙病的植株进行精准定位和喷洒；

所述服务器包括图像处理模块，所述图像处理模块用于接收摄像机传回的植物图像并通过多尺度深度神经网络对图片进行处理并自动输出诊疗结果；

所述客户端包括移动端和PC端，用于查看监控、专家远程会诊以及操控无人机自动或者手动施药。

2.根据权利要求1所述的基于多尺度深度神经网络的黄龙病自动诊疗系统，其特征在于：所述无人机上安装有图像采集设备和喷洒装置，分别用于精确定位和导航以及喷洒施药。

3.根据权利要求1所述的基于多尺度深度神经网络的黄龙病自动诊疗系统，其特征在于：所述移动端还能拍摄植株照片并直接上传至服务器进行黄龙病诊断。

4.根据权利要求1所述的基于多尺度深度神经网络的黄龙病自动诊疗系统，其特征在于：所述客户端上还安装有诊疗客户端，该诊疗客户端账号分为普通账号、管理员账号、专家账号，用于对不同账户进行管理和使用。

5.基于多尺度深度神经网络的黄龙病自动诊疗方法，其特征在于：具体的诊疗步骤包括：

步骤1：利用摄像机进行田间植株图像采集，并将检测到的图像传回至服务器；

步骤2：服务器上的图像处理模块对采集到的图像通过多尺度深度神经网络进行处理，输出诊疗结果；

步骤3：根据系统预设的是否需要专家会诊的值，判断是否需要专家会诊：如果需要会诊则将诊疗结果发送到客户端，专家使用专家号登录诊疗客户端后进行人工会诊并给出诊疗结果；如果不需要专家会诊则进入步骤4；

步骤4：根据诊疗结果，启动无人机手动或自动导航控制进行定位和喷洒施药。

6.根据权利要求3所述的基于多尺度深度神经网络的黄龙病自动诊疗方法，其特征在于：步骤2的具体操作步骤包括：

步骤21：输入采集到的图像；

步骤22：建立多尺度深度神经网络并将图像输入到其中，从特征图中提取信息；

步骤33：输出诊断结果。

7.根据权利要求4所述的基于多尺度深度神经网络的黄龙病自动诊疗方法，其特征在于：所述多尺度深度神经网络包括卷积层、8个基本块A、3个基本块B、3个池化层、全局平均池化层和二元分类层；

基本块A由3个并行卷积层组成，大小分别为1×1、3×3、5×5，且将5×5的大卷积核分解为两个3×3小卷积核；并在并行的卷积层后添加批量归一化层，使用求和层合并三个并行的卷积层的输出；并且在基本块A输出前加入ReLu激活函数层，采用ReLu作为激活函数，用于增强特征表达能力；

对于中等大小的特征图，在基本块A的基础上，采用非对称分解技术，得到基本块B，即将3个并行的卷积层中的3×3卷积核分解为两个1×3和3×1的卷积核，用于减少参数量；

利用快捷连接融合基本块A和基本块B中的特征图，用于形成语义丰富的新特征图。

8.根据权利要求7所述的基于多尺度深度神经网络的黄龙病自动诊疗方法，其特征在于：所述快捷连接融合基本块的特征图的具体操作步骤包括：

步骤1：如果连接的基本块A和基本块B的特征图尺寸不同，先将特征图经过核为3×3，步长为2的卷积层，得到大小相等、维度相同的特征图，进入步骤2；如果连接的基本块A和基本块B的特征图尺寸相同则直接进入步骤2；

步骤2：将两个大小、通道维度相同的特征图，按照对应元素相加的方式得到新的特征图。

Images