CN112001290A - 一种基于yolo算法的稻飞虱迁飞路径预测方法 - Google Patents

Abstract

一种基于YOLO算法的稻飞虱迁飞路径预测方法，涉及机器视觉与人工智能的技术领域。本发明对于获得的田间昆虫图片，通过YOLO算法训练收集的图像集，生成稻飞虱检测模型，完成实际田间拍摄状态下的稻飞虱图像检测；然后，对不同地区获取的稻飞虱图像进行识别和检测，并分别对图像中识别出的稻飞虱进行数量统计，并将数据上传到数据管理中心平台。根据不同地区稻飞虱数量的统计，完成稻飞虱迁徙路径的预测。利用高效的数据智能管理平台，来精确识别不同地区稻飞虱数量，统计稻飞虱病虫害严重性程度以及预测稻飞虱迁飞路径，对稻田等农作物有关稻飞虱虫害预防提供重要参考数据，可以节省大量人力和物力资源，提高农业虫害防治效率。

Description

一种基于YOLO算法的稻飞虱迁飞路径预测方法

技术领域

本发明涉及机器视觉与人工智能的技术领域，尤其涉及一种基于YOLO算法的稻飞虱迁飞路径预测方法。

背景技术

我国水稻种植区域广泛，横跨纬度范围大，从我国东北地区到江淮、江汉一带，一直到我国华南、西南地区均有广泛面积种植水稻。水稻是我国最重要的主产粮食作物之一，水稻在生长过程中会受到不同病虫害的影响，其中稻飞虱就是一种严重影响水稻植株生长的一种病虫害。稻飞虱，种属同翅目飞虱科，是农业稻田病虫害中一种以刺吸植株汁液的迁飞性害虫。近几年我国稻飞虱病虫害呈持续多发、重发趋势，造成了我国水稻严重减产，一般稻田减产10％-30％，少数严重失防田块减产超过50％，稻飞虱病虫害影响了我国水稻生长和生产。危害我国农田作物的稻飞虱主要分为三种：褐飞虱、白背飞虱和灰飞虱。稻飞虱成虫和若虫群集植株茎基部刺吸汁液，造成叶片枯黄，并产卵于叶鞘组织中，致叶鞘受损出现黄褐色伤痕。因此，全面实现田间稻飞虱病虫害的自动统计，减少稻飞虱人工搜集和数据统计工作量，减少劳动强度作业，对现代化农业管理水平的提升具有重要意义。

目前对于稻飞虱的迁飞路径没有一个系统的预测过程，更多的是根据某一地区的数量减少和另一地区的数量增加来推测，判断结果不准确，且不具有及时性，对稻田等农作物有关稻飞虱虫害预防数据不具有参考价值。各地在预防和治理上各自为阵，更多的是在稻飞虱产生后才开始治理，导致在预防和治理的滞后性，大大降低了稻飞虱防治效率。

发明内容

本发明目的是提供一种基于YOLO算法的稻飞虱迁飞路径预测方法，利用建立高效的深度学习模型以及数据智能管理平台，精确对不同地区稻飞虱数量进行统计、对比和分析以及预测其迁飞路径，为稻田等农作物有关稻飞虱虫害预防提供重要参考数据，不仅可以节省大量人力和物力资源，而且可以提高农业虫害防治效率。

基于YOLO算法的稻飞虱迁飞路径预测方法，包括如下步骤：

S1.在全国多个稻田区域布置稻飞虱采集装置，该装置包含用于吸引稻飞虱的诱虫灯，诱虫灯的正下方布置用于承载昆虫的100x100mm孔板，由于稻飞虱体型小，成虫长度大约在3-5mm。因此，孔板的上方设置至少四个摄像机，每个像机像素为500万，工作距离为50mm，每个摄像机的工作视野为60x60mm，确保4个像机全覆盖整个孔板，并能清晰对稻飞虱成像。孔板的一侧装有鼓风机和毛刷，拍摄昆虫阶段，设置固定时间间隔，通过鼓风机将诱虫灯吸引进来的昆虫吸到孔板上，然后，设置像机拍摄时间，对获取的4个通道像机图像进行拼接得到孔板上完整的图像；像机采集好此时刻昆虫图片后，孔板下移，同时鼓风机进行吹风，旁边毛刷对孔板进行清理，为下一时刻昆虫拍摄做准备。

S2.步骤S1获得的昆虫图片，基于YOLO算法的稻飞虱图像识别模型进行离线学习；

S3.步骤S1采集的图像通过无线传输装置并结合步骤S2离线学习后的检测模型，完成实际状态下获取的稻飞虱图像检测；

S4.对步骤S3的图像检测结果进行稻飞虱数量统计，对各区域的稻飞虱数量分别进行统计和对比，并根据上述分析对稻飞虱的迁飞路径以及病虫害程度进行预测。

人工智能是一门综合性科学，涵盖了计算机视觉、机器学习、模式识别等内容，通过利用机器模拟代替人类智力完成一些复杂工作。YOLO算法是目前人工智能领域中比较流行的目标检测算法之一，与其他算法相比，结构设计简单，检测速度快，应用在很多视觉检测任务中。因此，研究一种基于YOLO 算法的稻飞虱识别方法，建立一种高效的昆虫数据智能管理和监测平台，精确判断稻飞虱病虫害严重性程度以及预测稻飞虱迁飞路径，对稻田等农作物有关稻飞虱虫害预防提供重要参考数据，可以节省大量人力和物力资源，提高稻田农业虫害防治效率。

针对现有稻飞虱虫害检测方法存在的检测速度慢、无法预测迁飞路径以及虫害数量统计准确率低等问题，本发明公开了一种基于YOLO算法的稻飞虱迁飞路径预测方法，通过线下训练的YOLO算法模型，实现野外稻飞虱虫害的自动识别，将识别的稻飞虱数据信息上传到数据管理中心，根据现场实时数据，及时反馈给工作人员，根据稻飞虱数量统计结果，做好稻飞虱虫害防治规划工作。上述方法将机器视觉和人工智能技术的高效性、可重复性、智能性引入稻飞虱虫害数量统计及其迁飞路径预测领域，解决了稻飞虱病虫害识别问题，取代了人工检测的工作方式，提高了农业领域病虫害的预报和防治效率。

本发明公开了一种基于YOLO算法的稻飞虱迁飞路径预测方法，对多地同一时间段内的稻飞虱进行图像采集、分析、识别、数量统计以及迁飞路径预测，通过获取复杂现场环境下的昆虫图片，首先对图像数据集进行线下特征提取和模型训练，然后利用训练好的检测模型对稻飞虱进行准确识别，将识别的数据结果通过平台管理终端进行分析，根据不同地区同一时间段内统计的稻飞虱数据结果，预测和描绘稻飞虱的迁飞趋势，及时预测稻飞虱虫害危害程度，为农业田间作物虫害防治提供重要依据。

具体实施方式

一种基于YOLO算法的稻飞虱图像采集装置，包括设置在多个区域的若干个承载昆虫的孔板5，位于孔板5的一侧设置鼓风机；将孔板5均分为至少四个区域，在每个区域的上方设置一个摄像机，得到四个视场，分别为第一像机1对应第一视场S1、第二像机2对应第二视场S2、第三像机3对应第三视场S3、第四像机4对应第四视场S4；四个摄像机分别与无线传输装置连接。

对各个视场的图像进行特征提取，包括如下步骤：

1.1，在单个视场中选取一个以像素p为中心、半径为3的圆上，有16 个像素点：p1、p2、...、p16；

1.2，定义一个阈值t，设定阈值t为50，计算中心点p与p相邻的上下左右p1、p9、p13、p5四个点的差值，若所述差值中有至少3个超过定义的阈值t，则中心点p当做候选角点，再进行下一步考察；否则，排除该中心点作为候选角点；

1.3,若中心点p是候选角点，则计算p1到p16这16个点与中心点p的像素差值，像素差值为P1到p16各点的灰度值与中心点P的灰度值相减后的数值；若它们有至少连续9个超过定义的阈值t，则认定中心点p是角点；否则，该中心点不是角点；

1.4，对图像进行非极大值抑制：利用公式(1)计算中心点处的FAST得分值，

公式中V表示得分，t表示阈值；

若以特征点p为中心的一个邻域(邻域为3x3或5x5)内只有一个特征点，则直接保留；若以特征点p为中心的一个邻域内有多个特征点，则判断每个特征点的FAST得分值，得到16个点与中心差值的绝对值总和，保留所有特征点中响应值最大的，否则抑制。

对图像特征进行配准，包括如下步骤：

在特征点被检测出来之后，通过归一化互相关方法来确定四幅图像上的特征点的对应关系，分析第一幅图像中每个点周围的像素窗口，并将第一幅图像中每个点周围的像素窗口与第二幅图像中每个点周围的像素窗口关联起来，将双向相关性最大的点作为对应的对，基于图像强度值计算在两幅图像中的每个位移的“窗口”之间的相似性：

其中，

是第一幅图像中各个像素窗口的平均值图像，

是第二幅图像中各个像素窗口的平均值图像，x_i＝(x_i,y_i)是窗口的像素坐标，u＝(u,v)是通过NCC 系数计算出的位移或偏移，I₁(x,y)和I₂(x,y)分别是两张图像。

对配准后的图像进行单应性矩阵求解，包括如下步骤：

通过RANSAC算法从两幅图像特征匹配特征点中拟合图像数学匹配模型，即单应性矩阵，运用鲁棒参数估计的迭代方法，在两幅图像的单应性矩阵求解过程中，利用RANSAC算法找到了一个与大多数正确匹配点相关联的单应矩阵H，根据上述描述，分别求取四幅图像之间的单应性矩阵H₁₂,H₁₃,H₂₄,H₃₄。

对图像进行融合与拼接包括如下步骤：

单应性矩阵是两个平面之间的映射矩阵，用于表示两个图像平面之间的对应关系，实现两幅图像之间的投影，使一张图通过投影和另一张图实现拼接；

若求得的第一幅图像和第二幅图像之间的单应矩阵为H₁₂，则第一幅图像的像素点(x₁,y₁)和第二幅图像的像素点(x₂,y₂)满足如下关系，

同理，第一像机1和第三像机3，第一像机2和第四像机4，第三像机3 和第四像机4分别拍摄的图像满足如下关系式，

利用上述变换后的图像，将四幅输入图像变形经过单应性矩阵拼接后，融合到一个符合预期的输出图像中，实现稻飞虱图像的完整快速拼接。

基于本发明的基于YOLO算法的稻飞虱图像采集装置及其迁飞路径预测方法，包括如下步骤：

S1.在全国多个稻田区域布置稻飞虱采集装置，该装置包含用于吸引稻飞虱的诱虫灯，诱虫灯的正下方布置用于承载昆虫的100x100mm孔板，由于稻飞虱体型小，成虫长度大约在3-5mm。因此，孔板的上方设置至少四个摄像机，每个像机像素为500万，工作距离为50mm，每个摄像机的工作视野为60x60mm，确保4个像机全覆盖整个孔板，并能清晰对稻飞虱成像。孔板的一侧装有鼓风机和毛刷，拍摄昆虫阶段，设置固定时间间隔，通过鼓风机将诱虫灯吸引进来的昆虫吸到孔板上，然后，设置像机拍摄时间，对获取的4个通道像机图像进行拼接得到孔板上完整的图像；像机采集好此时刻昆虫图片后，孔板下移，同时鼓风机进行吹风，旁边毛刷对孔板进行清理，为下一时刻昆虫拍摄做准备。

S2.步骤S1获得的昆虫图片，利用YOLO算法对完整的稻飞虱图像识别模型进行离线学习；

具体包括如下步骤：

S21.通过在终端数据平台收集不同时段采集和拼接好的高清昆虫图片，通过Labelimage图像标注工具，对采集的稻飞虱图像进行标注；

S22.标注后输入图片调整为448x448像素大小，然后送入CNN网络，最后处理网络预测结果得到要检测的目标。

本发明使用15000张稻飞虱图片作为训练集，2000张稻飞虱图像作为测试集，用以验证卷积神经网络模型学习效果。先将图片分成S*S(7*7)个单元格，每个单元格会预测B(B＝2)个边界框以及边界框的置信度；如果一个目标的中心落入某一单元格，该单元格就负责检测该目标；每一个单元格中预测B个边界框和置信值；置信度定义如(7)式，其中，P_r(object)为属于目标的概率，

表示预测框与真实值之间的交集；置信度反映了该模型对盒子是否包含目标的信心，以及它预测盒子的准确程度；如果没有目标，置信值为0否则，置信度分数等于预测框与真实值之间联合部分的交集；

每个目标属于某一类C_i别的概率可以利用置信度Confidence与属于该类的概率相乘P_r(C_i|object)，即

YOLO算法采用GoogleNet改进模型，该模型卷积层和全连接层，采用leaky ReLU激活函数：

其中，x为每一层的输入值，y为每一层的输出值。

损失函数loss定义为：

其中

是边界框中心坐标的误差项，

指的是第i个单元格存在目标，且该单元格中的第j个边界框负责预测该目标，

是边界框的高与宽的误差项，

是包含目标的边界框的置信度误差项，

是不包含目标的边界框的置信度误差项，

是包含目标的单元格的分类误差项，

指的是第i个单元格存在目标；

通过将标注训练集代入上述YOLO算法模型，不断进行训练，直至损失函数loss趋近于0，认为该损失函数收敛，得到训练好的稻飞虱检测网络模型。

S3.步骤S1采集的图像通过无线传输装置并结合步骤S2离线学习后的训练集，完成实际状态下的稻飞虱图像检测；

S4.对步骤S3的图像检测结果进行统计，对各区域的稻飞虱数量进行统计，并对稻飞虱的迁徙路径进行预测。对拼接后的每一幅稻飞虱图像进行准确识别后，然后利用训练好的检测模型对稻飞虱进行准确识别，将识别的数据结果通过平台管理终端进行分析，根据不同地区同一时间段内统计的稻飞虱数据结果，预测和描绘稻飞虱的迁飞趋势，预测其迁飞路径轨迹。

一、稻飞虱图像采集装置

稻飞虱图像采集系统，主要包括捕捉和释放稻飞虱的机械系统，获取清晰稻飞虱图像的多台像机装置，无线图像网络传输装置以及控制多台像机采集功能的电路板。

(1)捕捉和释放昆虫的机械系统，主要用途是利用稻飞虱敏感的诱虫灯吸引夜间稻飞虱落到装置中的孔板上，并拍摄孔板上清晰的昆虫图片，待此次拍照完成之后，使用机械装置内的鼓吹机将昆虫吹走。每隔一定时间，让机械系统重复上述操作，获取不同时刻昆虫图片。

(2)像机图像采集装置，由于稻飞虱昆虫比较小，成虫体长大都在3-5mm 之间，普通工业像机存在景深和分辨率之间的矛盾，即像机分辨率越高景深越小。高分辨率像机拍摄图像清晰，但是像机景深小，容易出现离焦失真；低分辨率像机景深大，不容易出现失焦情况，但是稻飞虱分辨率不够，不能提供清晰的稻飞虱图像。为了解决上述问题，我们采用4台高分辨像机覆盖稻飞虱停落的孔板，既保证了像机有足够的空间分辨率，又能保证像机的景深，从而获取清晰的稻飞虱图像。

(3)无线网络图像传输系统，将获取的稻飞虱图像通过无线网络传输到终端服务器平台，为后续图像分析、稻飞虱识别和数量统计以及稻飞虱迁飞路径预测提供重要支撑。

(4)控制像机采集图像的电路板，设计基于单片机开发系统的像机控制电路板，由于本系统使用4台像机对孔板上稻飞虱进行拍照并进行无线远程传输，所以设计一种基于单片机开发系统的、具有无线高速传输功能、且可以控制多台像机采集的电路板，是本系统设计的关键。

二、基于YOLO深度学习的稻飞虱图像识别

在终端数据平台对上述稻飞虱图像识别，包含两个步骤：基于YOLO算法的稻飞虱图像离线学习和现场在线稻飞虱目标检测。由于本发明系统设计是在晚间对田间稻飞虱进行图像采集，诱虫灯会吸引各种昆虫落在承载昆虫孔板上。因此，稻飞虱图像背景信息复杂，可能包含有各类昆虫，给图像识别带来巨大困难。本发明系统采用YOLO目标检测算法，可以快速、准确识别复杂背景环境下的稻飞虱图像目标。

(1)基于YOLO算法的稻飞虱图像识别模型离线学习通过在终端数据平台收集上述不同时间段采集和拼接好的稻飞虱图片，并经过人工标注稻飞虱，实现训练集的收集。

人工标注使用Labelimage图像标注工具，对采集的稻飞虱图像进行标注，组成数据训练集。训练集越多，对深度学习模型训练效果越好，所以前期对数据训练集的收集尽可能多，本发明系统中使用了15000张稻飞虱图片作为训练集，2000张稻飞虱图像作为测试集，用以验证卷积神经网络模型学习效果。

YOLO算法，采用一个单独的CNN(卷积神经网络)模型实现端到端的目标检测，首先将输入图片调整到448x448像素大小，然后送入CNN网络，最后处理网络预测结果得到要检测的目标。

通过将标注训练集代入上述YOLO算法模型，不断进行训练，直至损失函数loss趋近于0，认为该损失函数收敛，得到训练好的稻飞虱检测网络模型。

(2)现场在线稻飞虱目标检测对上述2000幅测试图像集代入上述训练好的YOLO算法模型进行测试，检测网络模型的测试准确率。本系统通过对上述算法验证，可实现稻飞虱图像检测的准确率达到95％以上，证明了本发明方法的准确性，然后在测试终端，对上述采集的在不同基站获取的现场稻飞虱图像进行在线实时检测，可以及时完成不同基站情况下稻飞虱数量，通过分析不同基站区域中的稻飞虱图像以及稻飞虱数量的统计，根据稻飞虱数量多寡，可以实现不同基站间稻飞虱迁飞路径的预测。

Claims (6)

1.一种基于YOLO算法的稻飞虱迁飞路径预测方法，其特征在于包括如下步骤：

S1.在全国多个水稻种植区域从南到北布置若干个稻飞虱昆虫捕捉装置，该装置里有用于吸引稻飞虱的诱虫灯，该昆虫捕捉装置底端有用于承载昆虫的孔板，孔板的上方设置至少四个摄像机用于拍摄清晰的稻飞虱图像，孔板的另一侧设置鼓风机，吸引昆虫阶段，鼓风机用于吸气，将昆虫吸附于孔板上；释放昆虫阶段，鼓风机用于吹气，将孔板上的昆虫吹走；同时，获取4个像机通道的昆虫高清图片，同时对上述图片进行拼接得到完整的底板稻飞虱图像；

S2.步骤S1获得的昆虫图片，基于YOLO算法进行离线学习，训练稻飞虱图像检测模型；

S3.步骤S1采集的图像通过无线传输装置上传到数据管理中心，并结合步骤S2离线学习后的稻飞虱检测模型，完成不同地区的稻田中实时拍摄的稻飞虱图像检测；

S4.对步骤S3的稻飞虱图像检测结果进行应用，对各区域不同时间获取的稻飞虱数量进行数量统计分析，根据稻飞虱数量对稻飞虱的迁飞路径及迁飞方向进行预测。

2.根据权利要求1所述的基于YOLO算法的稻飞虱迁飞路径预测方法，其特征在于上述步骤S2包括如下步骤：

S21.通过在终端数据平台收集不同时段采集和拼接好的高清昆虫图片，首先通过Label image图像标注工具，对采集的15000幅稻飞虱图像进行标注；

S22.标注后输入图片调整为448x448像素大小，然后送入卷积神经网络，最后通过对网络模型进行线下学习，训练稻飞虱图像实时检测模型，实现稻飞虱图像检测。

3.根据权利要求2所述的基于YOLO算法的稻飞虱迁飞路径预测方法，其特征在于上述步骤S2中使用15000张稻飞虱图片作为训练集，2000张稻飞虱图像作为测试集，用以验证YOLO神经网络模型学习效果。

4.根据权利要求3所述的基于YOLO算法的稻飞虱迁飞路径预测方法，其特征在于上述步骤S2中的YOLO算法具体包括：先将图片分成S*S个单元格，每个单元格会预测B个边界框以及边界框的置信度；如果一个目标的中心落入某一单元格，该单元格就负责检测该目标；每一个单元格中预测B个边界框和置信值；置信度定义如(7)式，其中，P_r(object)为属于目标的概率，

表示预测框与真实值之间的交集；置信度反映了该模型对盒子是否包含目标的信心，以及它预测盒子的准确程度；如果没有目标，置信值为0否则，置信度分数等于预测框与真实值之间联合部分的交集；

每个目标属于某一类C_i别的概率可以利用置信度Confidence与属于该类的概率相乘P_r(C_i|object)，即

YOLO算法采用GoogleNet改进模型，该模型卷积层和全连接层，采用leaky ReLU激活函数：

其中，x为每一层的输入值，y为每一层的输出值；

损失函数loss定义为：

其中

是边界框中心坐标的误差项，

指的是第i个单元格存在目标，且该单元格中的第j个边界框负责预测该目标，

是边界框的高与宽的误差项，

是包含目标的边界框的置信度误差项，

是不包含目标的边界框的置信度误差项，

是包含目标的单元格的分类误差项，

指的是第i个单元格存在目标；

通过将标注训练集代入上述YOLO算法模型，不断进行训练，直至损失函数loss趋近于0，认为该损失函数收敛，得到训练好的稻飞虱检测网络模型。

5.根据权利要求1所述的基于YOLO算法的稻飞虱迁飞路径预测方法，其特征在于需将图片分成7*7个单元格，每个单元格会预测2个边界框以及边界框的置信度，实现稻飞虱图像检测。

6.根据权利要求1所述的基于YOLO算法的稻飞虱迁飞路径预测方法，其特征在于上述步骤S4具体为：对稻飞虱图像进行准确识别后，统计当前时刻各区域稻飞虱数量并记录保存数据，得到各区域的稻飞虱数量；通过对各地获取的图像进行在线识别，根据同一时间段以及不同时间阶段统计的稻飞虱数量进行比较和分析，观察稻飞虱数量变化规律，预测其迁飞路径轨迹。