CN114202643A - 基于多传感融合的苹果叶部病害识别终端及方法 - Google Patents

Abstract

本发明公开了基于多传感融合的苹果叶部病害识别终端及方法，热敏感CCD传感器、CCD工业摄像机、计算机、图像数据处理模块、检测模块和定位模块，识别方法包括步骤一，训练神经网络；步骤二，图像采集；步骤三，图像处理；步骤四，图片边界框预测及类别判断；步骤五，实时定位；本发明通过采用YOLO检测网络和红外热成像技术，在病症早期可以有效检测出来症状，可以达到非常高的准确率和识别速度，本发明通过采用GPS+IMS惯性传感器，可以实现优秀的定位与轨迹重构，记录病害当前所在的位置，本发明的自动化程度高，识别效率高，工作强度低，本发明采用了多传感器融合的检测方法，与现有的技术相比，提高了准确率、识别速度和实用性。

Description

基于多传感融合的苹果叶部病害识别终端及方法

技术领域

本发明涉及数据处理技术领域，具体为基于多传感融合的苹果叶部病害识别终端及方法。

背景技术

苹果的叶部病害，是指由于某些真菌侵害所引起的一些症状，例如受苹果链格孢的强毒株系的侵害而引起的落叶病等，苹果叶部害信息识别是指在症状早期，识别出相应的叶部病害类别，许多果农的防病意识差，等苹果发病时往往错过最佳施药时间，且不能明确病症种类，田间症状持续期间，任然施以旧药，导致大量经济损失，当苹果叶部遭受病害时，其细胞膜的膜透性发生变化，叶片的细胞内水分流失过快，引发叶片气孔的变化调节细胞水势的变化，同时有些真菌分泌物也会关闭气孔，另为植物本身的自卫系统激素的积累也会引起植物气孔的异常关闭，气孔的异质性关闭引发气孔导度和蒸腾强度等诸多生理指标的改变，从而引起叶片表面热量异常变化，同时，诸多研究表明，叶片最大温度差MTD随着病情发展而逐渐增大，这就为热红外技术提供了机理基础，当在叶片表面出现病斑时，表明症状已经加重，并且每种病害所对应症状是有所不同的，为可见光图像的识别病害提供了基础，YOLO神经网络，是近年来提出的优秀的目标检测网络，可以同时预测多种目标的种类和边界框，Yolo系列现已发展到yolov5，可以达到速度与性能的平衡，在保证非常高的目标检测速度同时、达到非常高的准确率和召回率；热红外成像技术具有无损，反应快速，远距离检测以及绿色分析等特点，俩者结合可以达到及时发现病症与对病症分类的效果；在大面积的果园中，识别病害并且定位病害具有一定难度，GPS+IMS惯性传感器的组合可以进行高精度的定位，进行自动的病害定位；

现有技术一：传统的计算机技术采取对图像的RGB，特征提取等一系列算法，检测出目标，具有检测目标单一性，一个程序往往只能识别出一个目标，运行速度取决于程序的优化；

现有技术二：公开了一种基于高光谱成像技术的检测技术，结合了二维成像技术和光谱分析技术，利用多种窄带电磁波光谱技术，通过成像获取物体特征的相关参数，可以进一步分析样品的物理和化学成分，前期只要建立了相应的模型，可以达到非常高的准确率，可以达到一病一谱，但是该技术现阶段成本技术过于昂贵，较难应用于实践；

现有技术三：热红外成像技术作为一种新型的检测技术，已经应用于多种农业领域，热红外成像技术具备无损，绿色，反义快速等检测特点，热红外成像技术主要目的是获取对象的温度并进行分析，其分析难点在于图像的分割方法、特征提取和计算指标或建模等，这些都是无法逾越的；

综上所述，现有技术的问题是：现有技术无法同时满足检测方法简单，检测种类多，检测速度快，精度高和价格低廉的要求。

发明内容

本发明的目的在于提供基于多传感融合的苹果叶部病害识别终端及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于多传感融合的苹果叶部病害识别终端，包括热敏感CCD传感器、CCD工业摄像机和计算机，所述计算机与热敏感CCD传感器建立数据连接，计算机与CCD工业摄像机建立数据连接。

优选的，所述计算机内部存储有图像数据处理模块、检测模块和定位模块，图像数据处理模块与热敏感CCD传感器建立数据连接，图像数据处理模块与CCD工业摄像机建立数据连接，图像数据处理模块与检测模块建立数据连接，检测模块与定位模块建立数据连接。

优选的，所述热敏感CCD传感器的正前方设置有等温黑色挡板，对热敏感CCD传感器进行温度补偿和坏点去除，CCD工业摄像机为彩色摄像机，像素为500万像素，靶面尺寸为2/3。

优选的，所诉图像数据处理模块设置有两个程序，分别为热红外图像处理程序和可见光图像处理程序，检测模块是以YOLO为核心的神经网络，定位模块为GPS与MEMS惯性传感器的组合，MEMS惯性传感器包括MEMS三轴加速度传感器，MEMS三轴角速度传感器，三轴数字罗盘和气压计。

基于多传感融合的苹果叶部病害识别终端的识别方法，包括步骤一，训练神经网络；步骤二，图像采集；步骤三，图像处理；步骤四，图片边界框预测及类别判断；步骤五，实时定位；

其中上述步骤一中，首先利用噪声添加、裁剪、旋转等方法扩展训练集图片，然后用自适应图片算法处理训练集图片，将图片缩放到指定尺寸，再将图像中需要检测的真实类别和边界框进行标注，自动生成xml文件，将WBF算法应用于数据集，用来过滤掉不精确标记的边界框，最后将VOC格式的xml文件转成YOLO神经网络所需要的txt文件，将数据集送入YOLO神经网络进行训练，观察训练过程中的training loss和validation loss曲线，判断YOLO神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练，将训练出的模型转换为检测模块中OpenVINO所需要的xml和bin文件，在OpenVINO进行部署调用；

其中上述步骤二中，首先通过热敏感CCD传感器和CCD工业摄像机进行图像数据采集，热敏感CCD传感器采集热红外图像，CCD工业摄像机采集可见光图像，然后二者将采集到的图像输送给计算机；

其中上述步骤三中，计算机中的图像数据处理模块对接收到的图像数据进行预处理，即通过信息归一化将图像信息转换为灰度信息，再利用基于蚁群优化算法的图像边缘检测算法将红外图像进行图像分割，得到病斑图像，然后对病斑图像提取特征，最后将处理好的图片输送至检测模块；

其中上述步骤四中，检测模块将接收到的图片输入步骤一中训练好的YOLO神经网络，在输入端进行图片预处理，利用自适应图片算法缩放图片至指定尺寸，通过foucs+csp结构进行特征提取，最后将提取到的三种不同尺寸的特征图划分成不同尺寸的方格，对其进行边界框预测与类别判断，并输出判断结果，若结果为病害，则进入步骤五，否则无操作；

其中上述步骤五中，启动定位模块进行实时定位，对传感器所采集到的数据采用ECF算法进行信息融合，通过数字罗盘对陀螺仪进行补偿，利用四元数解算姿态，进行轨迹重构，高精度的GPS信息作为外部量测输入，在运动过程中修正IMS，以控制其误差随时间的累积。

优选的，所述步骤一中，利用LabelImg软件将图像中病症的真实类别和边界框标注出来，自动生成YOLO神经网络需要的xml文件。

优选的，所述步骤一中，YOLO神经网络训练过程的硬件环境：CPU为Intel(R)Core(TM)，12核，型号为i7-9750H，主频为2.60GHz，内存为16G，采用GPU加速训练，GPU为NVIDIAGeForceRTX2070，显存大小为16G；YOLO神经网络训练过程的软件环境：操作系统为Windows10，OpenCV版本为4.5.1，TensorFlow-gpu的版本为2.3.0；YOLO神经网络的训练参数为：学习率0.01，batch size 64，迭代次数为10万次。

优选的，所述步骤四中，在目标检测后处理阶段，将原本所用的加权nms方式改为WBF，避免传统的nms过度的过滤掉一些有效边界框。

与现有技术相比，本发明的有益效果是：本发明通过采用YOLO检测网络和红外热成像技术，在病症早期可以有效检测出来症状，可以达到非常高的准确率和识别速度，本发明通过采用GPS+IMS惯性传感器，可以实现优秀的定位与轨迹重构，记录病害当前所在的位置，本发明的自动化程度高，识别效率高，工作强度低，本发明采用了多传感器融合的检测方法，与现有的技术相比，提高了准确率、识别速度和实用性。

附图说明

图1为本发明的系统框架图；

图2为本发明的方法流程图；

图3为本发明的病害检测系统流程图；

图4为本发明的YOLO神经网络训练流程图；

图5为本发明的蚁群算法流程图；

图6为本发明的YOLO神经网络结构图；

图7为本发明基于特征图所预测输出边框的坐标图；

图中：1、热敏感CCD传感器；2、CCD工业摄像机；3、计算机；300、图像数据处理模块；301、检测模块；302、定位模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供的一种实施例：基于多传感融合的苹果叶部病害识别终端，基于多传感融合的苹果叶部病害识别终端，包括热敏感CCD传感器1、CCD工业摄像机2和计算机3，计算机3与热敏感CCD传感器1建立数据连接，计算机3与CCD工业摄像机2建立数据连接；计算机3内部存储有图像数据处理模块300、检测模块301和定位模块302，图像数据处理模块300与热敏感CCD传感器1建立数据连接，图像数据处理模块300与CCD工业摄像机2建立数据连接，图像数据处理模块300与检测模块301建立数据连接，检测模块301与定位模块302建立数据连接，图像数据处理模块300用于对采集到的图像进行预处理，检测模块301用于检测所采集到的图片，输出识别结果，定位模块302用于定位当前的位置，记录轨迹信息；热敏感CCD传感器1的正前方设置有等温黑色挡板，对热敏感CCD传感器1进行温度补偿和坏点去除，CCD工业摄像机2为彩色摄像机，像素为500万像素，靶面尺寸为2/3；所诉图像数据处理模块300设置有两个程序，分别为热红外图像处理程序和可见光图像处理程序，检测模块301是以YOLO为核心的神经网络，定位模块302为GPS与MEMS惯性传感器的组合，MEMS惯性传感器包括MEMS三轴加速度传感器，MEMS三轴角速度传感器，三轴数字罗盘和气压计。

请参阅图2-7，本发明提供的一种实施例：基于多传感融合的苹果叶部病害识别终端的识别方法，包括步骤一，训练神经网络；步骤二，图像采集；步骤三，图像处理；步骤四，图片边界框预测及类别判断；步骤五，实时定位；

其中上述步骤一中，首先利用噪声添加、裁剪、旋转等方法扩展训练集图片，然后用自适应图片算法处理训练集图片，将图片缩放到指定尺寸，再利用LabelImg软件将图像中需要检测的真实类别和边界框进行标注，自动生成xml文件，将WBF算法应用于数据集，用来过滤掉不精确标记的边界框，最后将VOC格式的xml文件转成YOLO神经网络所需要的txt文件，将数据集送入YOLO神经网络进行训练，观察训练过程中的training loss和validation loss曲线，判断YOLO神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练，将训练出的模型转换为检测模块301中OpenVINO所需要的xml和bin文件，在OpenVINO进行部署调用，其中，YOLO神经网络训练过程的硬件环境：CPU为Intel(R)Core(TM)，12核，型号为i7-9750H，主频为2.60GHz，内存为16G，采用GPU加速训练，GPU为NVIDIAGeForceRTX2070，显存大小为16G；YOLO神经网络训练过程的软件环境：操作系统为Windows10，OpenCV版本为4.5.1，TensorFlow-gpu的版本为2.3.0；YOLO神经网络的训练参数为：学习率0.01，batch size64，迭代次数为10万次；

其中上述步骤二中，首先通过热敏感CCD传感器1和CCD工业摄像机2进行图像数据采集，热敏感CCD传感器1采集热红外图像，CCD工业摄像机2采集可见光图像，然后二者将采集到的图像输送给计算机3；

其中上述步骤三中，计算机3中的图像数据处理模块300对接收到的图像数据进行预处理，即通过信息归一化将图像信息转换为灰度信息，再利用基于蚁群优化算法的图像边缘检测算法将红外图像进行图像分割，得到病斑图像，然后对病斑图像提取特征，最后将处理好的图片输送至检测模块301；

其中上述步骤四中，检测模块301将接收到的图片输入步骤一中训练好的YOLO神经网络，在输入端进行图片预处理，利用自适应图片算法缩放图片至指定尺寸，通过foucs+csp结构进行特征提取，最后将提取到的三种不同尺寸的特征图划分成不同尺寸的方格，如图6，每个网格对应着输出20×20×18的3维张量，输出的18个张量中，第一部分是识别的叶部病害类别的个数，以识别3种病害为例，该项数值为3；后面为对应的预测框的个数为3，最后12个参数为3个边界框分别对应的bx、by、bw，bh；根据叶部病害是否落入网格中心点进行边界框预测及类别判断，在目标检测后处理阶段，将原本所用的加权nms方式改为WBF，避免传统的nms过度的过滤掉一些有效边界框，对病斑图像进行边界框预测与类别判断后输出判断结果，若结果为病害，则进入步骤五，否则无操作；

其中上述步骤五中，启动定位模块302进行实时定位，对传感器所采集到的数据采用ECF算法进行信息融合，通过数字罗盘对陀螺仪进行补偿，利用四元数解算姿态，进行轨迹重构，高精度的GPS信息作为外部量测输入，在运动过程中修正IMS，以控制其误差随时间的累积。

下面结合附图对本发明的技术方案作进一步的描述：

图6为YOLO神经网络结构图，图6中的输入端采用Mosaic数据增强进行数据扩充，减少GPU，采用自适应锚框计算增加训练的准确度，基于kmean聚类方法算出初始锚框，在输出尺寸为80×80的特征图，对应的预设模板框的尺寸映射到输入图像640×640的预测框尺寸分别为10×13，16×30，33×23，输出尺寸为40×40的特征图，对应的预设模板框的尺寸映射到输入图像640×640的预测框尺寸分别为30×61，62×45，59×119，输出尺寸为20×20的特征图，对应的预设模板框的尺寸映射到输入图像640×640的预测框尺寸为116×90，156×198，373×326，在推理阶段则采用了自适应图片缩放算法，加快了推理速度；在之后的focus模块中，对图片进行切片操作，在Residual模块中，*1表示残差网络单元的数量为1；*2表示残差网络单元的数量为2，以此类推，YOLO神经网络中残差网络单元的数量为1+3+3＝7个；卷积层后面绑定BN正则化操作和Leaky ReLU非线性激活函数；其中，上采样upsampling后加了个自底向上的特征金字塔，这样结合操作，FPN层自顶向下传传达强语义特征，特征金字塔自底向上传达强定位特征，进一步提高特征提取能力；图6中的输出部分中有3个不同尺寸的特征图(80×80，40×40，20×20)分别对应3个不同尺寸的预测框(Bounding-box)，其中，3种尺寸的特征图根据其大小选择不同长宽比例、不同面积的anchor，逆向推导出它在原始图片中的对应区域，即就是需要输出的苹果叶部病害的预测框；logistic回归的使用来对每个anchor包围的内容进行了一个目标性评分(objectnessscore)，根据目标性评分来选择最优的anchorprior进行预测；在边界框(bouding box)的预测中，用维度聚类的方法确定模板框(anchor boxprior)，通过直接预测相对位置，得出边界框中心点相对于网格单元左上角的相对坐标，其中，边界框预测过程如下图5所示；

由图7得知，边界框的预测过程中存在着窗口微调的过程，使得网络的定位更加准确，基于特征图预测输出边框坐标值是b_x、b_y、b_w、b_h，即边界框相对于特征图的位置和大小：公式如下：

b_x＝σ(t_x)+c_x (公式2)

b_y＝σ(t_y)+c_y (公式3)

网络训练输出的是t_h，t_w，t_x，t_y，其中t_x和t_y是预测框的坐标偏移值，t_h和t_w是boundbox直接预测出的宽和高，公式中的P_w和P_h是预设的模板框映射到特征图中的宽和高，C_x和C_y是特征图中网格中心的左上角坐标，在YOLO神经网络中每个gridcell在特征图中的宽和高均为1；G_x和G_y是实际框(groundt ruth)在这个特征图的中心坐标，G_w和G_h是groundtruth在特征图上的宽和高，

为实际框的值，公式如下：

这样可以得出输出与真实值的误差，由公式2-公式5可以看出，边界框的位置大小通过(t_h，t_w，t_x，t_y)计算得来，b_x和b_y的计算过程中用sigmoid函数将t_x和t_y压缩到[0，1]区间内，因为一旦t_x和t_y算出来大于一，就会引起矛盾，所以必须归一化，还需要约束bbox的位置预测值到【0，1】，会使得模型更稳定训练，公式如下：

b_x＝σ(t_x)+c_x/w (公式10)

b_y＝σ(t_y)+c_y/h (公式11)

其中w和h为feature map的大小，在得到除以了w和h后的b_x，b_y，b_w，b_h，将这4个值分别乘以输入网络的图片的宽和高(例如640×640)就可以得到边界框相对于坐标系(640×640)位置和大小了，即就可以输出想要得到的目标框；

YOLO神经网络对边界框进行预测的时候，采用了logistic regression，logistic回归用于对模板(anchor)包围的部分进行一个目标性评分，即就是用来从9个anchorpriors，选取objectness score(目标存在可能性得分)最高的一个，即只对一个anchorprios预测，去掉不必要的anchor，减少计算量，Logistic回归就是用曲线对prior相对于objectness score进行建模；

YOLO神经网络的置信度作用定义有俩重，第一重：边界框含有目标的可能性大小Pr(objec)，当该边界框是背景时(即不包含目标)，此时Pr(object)＝0；而当该边界框包含目标时，Pr(object)＝1；第二重：IOUtruthpred，预测框与实际框(groundtruth)的IOU(intersectionoverunion，交并比)值，根据定义，以数学形式表达置信度定于：Cij＝Pr(Object)*IOUpredtruth

；需要说明的是在目标检测的后处理阶段，则将原本所用的加权nms换为WBF，对输出结果有较大的提升。

基于上述，本发明的优点在于，该发明可以达到对苹果叶部病害进行多种类识别，识别率高，识别速度快；该发明在兼顾检测准确度的同时，又降低了成本，使得果农可以负担的起；该发明对热红外图像的分析仅在于图像分割方法与特征提取，大大降低了实现应用此技术的各种成本，同时该发明加入了GPS+IMS惯性传感器的组合，可以对病害进行精确定位。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.基于多传感融合的苹果叶部病害识别终端，包括热敏感CCD传感器(1)、CCD工业摄像机(2)和计算机(3)，其特征在于：所述计算机(3)与热敏感CCD传感器(1)建立数据连接，计算机(3)与CCD工业摄像机(2)建立数据连接。

2.根据权利要求1所述的基于多传感融合的苹果叶部病害识别终端，其特征在于：所述计算机(3)内部存储有图像数据处理模块(300)、检测模块(301)和定位模块(302)，图像数据处理模块(300)与热敏感CCD传感器(1)建立数据连接，图像数据处理模块(300)与CCD工业摄像机(2)建立数据连接，图像数据处理模块(300)与检测模块(301)建立数据连接，检测模块(301)与定位模块(302)建立数据连接。

3.根据权利要求1所述的基于多传感融合的苹果叶部病害识别终端，其特征在于：所述热敏感CCD传感器(1)的正前方设置有等温黑色挡板，对热敏感CCD传感器(1)进行温度补偿和坏点去除，CCD工业摄像机(2)为彩色摄像机，像素为500万像素，靶面尺寸为2/3。

4.根据权利要求2所述的基于多传感融合的苹果叶部病害识别终端，其特征在于：所诉图像数据处理模块(300)设置有两个程序，分别为热红外图像处理程序和可见光图像处理程序，检测模块(301)是以YOLO为核心的神经网络，定位模块(302)为GPS与MEMS惯性传感器的组合，MEMS惯性传感器包括MEMS三轴加速度传感器，MEMS三轴角速度传感器，三轴数字罗盘和气压计。

5.基于多传感融合的苹果叶部病害识别终端的识别方法，包括步骤一，训练神经网络；步骤二，图像采集；步骤三，图像处理；步骤四，图片边界框预测及类别判断；步骤五，实时定位；其特征在于：

其中上述步骤一中，首先利用噪声添加、裁剪、旋转等方法扩展训练集图片，然后用自适应图片算法处理训练集图片，将图片缩放到指定尺寸，再将图像中需要检测的真实类别和边界框进行标注，自动生成xml文件，将WBF算法应用于数据集，用来过滤掉不精确标记的边界框，最后将VOC格式的xml文件转成YOLO神经网络所需要的txt文件，将数据集送入YOLO神经网络进行训练，观察训练过程中的training loss和validation loss曲线，判断YOLO神经网络是否收敛；如果收敛，则停止训练；如果未收敛，则继续训练，将训练出的模型转换为检测模块(301)中OpenVINO所需要的xml和bin文件，在OpenVINO进行部署调用；

其中上述步骤二中，首先通过热敏感CCD传感器(1)和CCD工业摄像机(2)进行图像数据采集，热敏感CCD传感器(1)采集热红外图像，CCD工业摄像机(2)采集可见光图像，然后二者将采集到的图像输送给计算机(3)；

其中上述步骤三中，计算机(3)中的图像数据处理模块(300)对接收到的图像数据进行预处理，即通过信息归一化将图像信息转换为灰度信息，再利用基于蚁群优化算法的图像边缘检测算法将红外图像进行图像分割，得到病斑图像，然后对病斑图像提取特征，最后将处理好的图片输送至检测模块(301)；

其中上述步骤四中，检测模块(301)将接收到的图片输入步骤一中训练好的YOLO神经网络，在输入端进行图片预处理，利用自适应图片算法缩放图片至指定尺寸，通过foucs+csp结构进行特征提取，最后将提取到的三种不同尺寸的特征图划分成不同尺寸的方格，对其进行边界框预测与类别判断，并输出判断结果，若结果为病害，则进入步骤五，否则无操作；

其中上述步骤五中，启动定位模块(302)进行实时定位，对传感器所采集到的数据采用ECF算法进行信息融合，通过数字罗盘对陀螺仪进行补偿，利用四元数解算姿态，进行轨迹重构，高精度的GPS信息作为外部量测输入，在运动过程中修正IMS，以控制其误差随时间的累积。

6.根据权利要求5所述的基于多传感融合的苹果叶部病害识别终端的识别方法，其特征在于：所述步骤一中，利用LabelImg软件将图像中病症的真实类别和边界框标注出来，自动生成YOLO神经网络需要的xml文件。

7.根据权利要求5所述的基于多传感融合的苹果叶部病害识别终端的识别方法，其特征在于：所述步骤一中，YOLO神经网络训练过程的硬件环境：CPU为Intel(R)Core(TM)，12核，型号为i7-9750H，主频为2.60G Hz，内存为16G，采用GPU加速训练，GPU为NVIDIAGeForceRTX 2070，显存大小为16G；YOLO神经网络训练过程的软件环境：操作系统为Windows10，OpenCV版本为4.5.1，TensorFlow-gpu的版本为2.3.0；YOLO神经网络的训练参数为：学习率0.01，batch size 64，迭代次数为10万次。

8.根据权利要求5所述的基于多传感融合的苹果叶部病害识别终端的识别方法，其特征在于：所述步骤四中，在目标检测后处理阶段，将原本所用的加权nms方式改为WBF，避免传统的nms过度的过滤掉一些有效边界框。

Images