CN113361429B - 一种储粮害虫的运动行为分析方法与实验装置 - Google Patents

Abstract

本发明涉及一种昆虫运动行为分析方法，具体涉及一种储粮害虫的运动行为分析方法。该运动行为分析方法，包括如下步骤：1）生成目标框图；2）判定数量；3）行为检测；4）生成统计表和防治策略。该储粮害虫的运动行为分析方法能针对赤拟谷盗进行轨迹追踪及取食行为分析，进而生成对应的防治策略，提高防治效率，节约经济成本；能对赤拟谷盗的轨迹进行实时跟踪，使分析结果更准确；解决了现有分析过程不具有实时性，且准确性和效率均低下的问题。

Description

一种储粮害虫的运动行为分析方法与实验装置

技术领域

本发明涉及一种昆虫运动行为分析方法，具体涉及一种储粮害虫的运动行为分析方法。

背景技术

储粮害虫以谷物，面粉，豆粒等为食，主要损坏粮食，造成粮食安全问题，进而影响人们的生命、健康。研究储粮害虫的行为特点对储粮害虫的防治有重要意义。现有技术中储量害虫种类大约三十多种，现有研究的种类针对性不强，不同的环境条件下，同种害虫行为区别大，对同一种害虫的防治，其指导意义有限，导致现有研究没有普适意义。特别是对赤拟谷盗（一种储粮害虫）的分析，其针对性不强，分析的准确性和效率均不高，不能依据其分析有效遏制赤拟谷盗对粮食的损坏；且现有分析过程不具有实时性，不能对赤拟谷盗的行为进行实时跟踪和轨迹分析。

发明内容

本发明的目的在于：提供一种对赤拟谷盗进行轨迹追踪及取食行为分析，生成对应的防治策略，提高防治效率，节约经济成本；且能具有实时性，以解决现有分析过程不具有实时性，且准确性和效率均低下问题的昆虫运动行为分析方法。

本发明的技术方案是：

一种储粮害虫的运动行为分析方法，其特征在于：包括如下步骤：

1）、通过连续时间间隔视频采集的拍摄图像，依次进行背景减除、高斯加权平均、二值化、腐蚀、膨胀生成目标框图；

2）、通过将步骤1）获得的目标框图与预设在比例图纸上的基础坐标比对，得出目标框图内目标害虫的坐标信息；

3）、根据目标框图信息对目标害虫数量进行判断，若目标害虫数量为1只，判定为单目标害虫；若目标害虫数量为多只，判定为多目标害虫；

4）、将单目标害虫图像进行多帧目标框图对比，得到对应时间间隔内的害虫行为分析指标统计，生产单目标行为结果统计表；

5）、设定K近邻算法的K值为1，将多目标害虫的目标框图输入K近邻算法后得到对应时间间隔内的害虫行为分析指标统计，生成多目标害虫行为结果统计表；

6）、根据害虫行为结果统计表生成对应的害虫防治策略。

所述的步骤3）中判定为多目标害虫的具体过程为：

对步骤1）获得的目标框图采样连续n帧图像，对每一帧图像中的目标害虫信息进行统计，记为F={f1,f2,...,fn}；

式中，f代表每一帧检测出来的目标害虫位置信息的列表；

通过比较相邻两帧之间F中列表长度，连续n-2帧目标害虫位置信息的列表长度相同时，确定图像中的目标害虫数量为实际储粮害虫的数量。

所述的步骤5）的具体步骤为：

将目标害虫的编号以及坐标信息，记为字典d{1:[(x1,y1),…],…}，根据字典d中每个目标害虫编号对应的坐标信息，画出其运动轨迹；

设置K近邻算法的K值为K=1，采用欧氏距离计算对储粮害虫的行进间距进行计算，即：

当出现目标害虫重叠的情况时，存在字典d中一个目标害虫的坐标

未匹配；目标害虫数量增加后，使用KNN算法进行运算时会剩下一个目标害虫坐标信息与字典d中坐标信息未匹配，若此目标害虫的坐标与之前消失目标害虫的坐标

的欧式距离小于阈值ε，判定该目标害虫为重叠的目标害虫，将其新坐标加入字典d中对应储粮害虫编号的列表中；

根据字典d计算各目标害虫的行为分析指标，生成多目标害虫行为结果统计表。

所述的目标害虫行为分析指标包括行走距离、行走速度、休息频次、休息时常、飞行频次、飞行距离、行走频次、行走趋向、转弯次数、直行次数、钻入面粉头数、钻出面粉头数和聚集。

一种基于储粮害虫运动行为分析方法的实验装置，包括底座，其特征在于：底座上通过支撑杆安装有摄像头，摄像头下方的底座上设置有容纳10只以内目标害虫的比例图纸。

所述的支撑杆呈L状。

进一步，所述的比例图纸一侧设置有温度光功率器。

进一步，所述的摄像头下方设置有多张比例图纸，比例图纸之间设置有隔开比例图纸的隔板。

本发明的有益效果在于：

该储粮害虫的运动行为分析方法能针对赤拟谷盗进行轨迹追踪及取食行为分析，进而生成对应的防治策略，提高防治效率，节约经济成本；能对赤拟谷盗的轨迹进行实时跟踪，使分析结果更准确；解决了现有分析过程不具有实时性，且准确性和效率均低下的问题。

附图说明

图1是本发明的流程示意图；

图2是本发明实验装置的结构示意图；

图3是本发明温度光功率器的装配示意图；

图4是本发明隔板的装配示意图。

图中：1、底座，2、支撑杆，3、摄像头，4、比例图纸，5、温度光功率器，6、隔板。

具体实施方式

实施例1

该储粮害虫的运动行为分析方法，包括如下步骤：

通过连续时间间隔视频采集的拍摄图像，依次进行背景减除、高斯加权平均、二值化、腐蚀、膨胀生成目标框图；具体为：

采用基于背景减除法的高斯混合模型方法检测运动物体：

计算连续时间段内连续时间间隔视频采集的拍摄图像中每一像素值

的均值

和方差

来初始化高斯混合模型中M个高斯分布参数，其中均值

和方差

可由下式得到：

式中，

表示连续N帧中某一像素的均值；N表示帧长度，N取值为50；

表示某一像素在第i帧的值；i表示连续N帧中的第i帧；

表示连续N帧中某一像素的方差。

第i个高斯分布的均值和权重取值为：

式中，

分别表示某一像素的第i个高斯分布均值和方差；M表示混合高斯模型数量，取值为3；i表示第i个混合高斯模型。

更新参数：

对高斯分布的参数和各高斯分布的权重进行更新，并根据权重把高斯分布排序；在获取新图像时，需要将当前帧的像素与高斯混合模型中M个高斯分布分别匹配，若新获取的像素

与其中某个高斯分布满足下式，则认为该像素

与这个高斯分布匹配；

其中，

为第i个高斯分布的均值，

为第i个高斯分布在t-1时刻的标准差。

与像素

相匹配的高斯分布参数更新公式如下：

其中，

表示第i个高斯分布在t时刻的均值；

表示第i个高斯分布在t时刻的权重；

为自定义的学习率；

为参数学习率。

若前n个高斯分布满足

，其中，

表示在t时刻各高斯分布；n为高斯分布数量；

表示第k个高斯分布在t时刻的权重；

为阈值，用来描述背景的高斯分布权重之和的最小值；

判断这前n个高斯分布为背景分布，其余的高斯分布为前景分布：

通过判断输入像素值与相应背景像素值之差与阈值T的大小关系来判断该像素是否为前景像素；

满足

，判定为前景像素，否则

判定为背景像素，从而对背景进行减除，从而获得含有目标害虫轮廓信息的动态图，由此对动态物体进行检测。

由背景减除的高斯混合模型得到的对静态物体检测效果不明显，当储粮害虫出现明显休息时，检测效果差，由此在进行背景减除处理后的图像基础上结合阈值分割法对静态物体进行检测，具体为：

将阈值设置为40-100，优选地，将阈值设置为50；通过设定的阈值将储粮害虫和背景进行分割，获得储粮害虫的静态图像。

由于本装置涉及不同光照，需使用自适应阈值法。自适应阈值法不是计算全局图像的阈值，其根据图像不同区域亮度分布，计算其局部阈值，计算每个邻域的高斯加权平均来确定阈值，

G(x,y)代表像素点(x,y)处的权重，其中，x，y为某一邻域窗口中的相对位置，如对于一个像素点，取其周围相邻的3x3窗口大小的8个点，原点即窗口中心坐标记为(0,0)，上方坐标为(0,1)，下方坐标为(0,-1)，以此类推，将这9个坐标分别带入上式，得到其权重，取这9个加权平均后的值作为该点的像素值；确定阈值后，通过阈值对高斯加权平均后的图像进行二值化，对二值化后的图像进行形态学操作，即进行腐蚀再进行膨胀，从而获得含有目标害虫轮廓信息的静态图，由此对静态物体进行检测。

通过对运动物体检测和静态物体检测，获得准确的储粮害虫图像轮廓信息；

基于opencv方法对获得的储粮害虫图像轮廓信息进行检测：

根据储粮害虫在图像中的面积大小进行逻辑上的判断，即将检测获得的物体与预设在比例图纸上的基础坐标比对，计算获得物体的面积大小，根据物体的面积大小，与设定的面积大小阈值范围进行比较，物体的面积大小在设定的面积大小阈值范围中时，判定为物体为储粮害虫，从而进一步筛选出符合条件的目标，此目标即为储粮害虫；将储粮害虫用目标框进行框选，生成目标框图。

通过将获得的目标框图与预设在比例图纸上的基础坐标比对，得出目标框图内目标害虫的坐标信息，由于其体型小，以目标框的中心坐标来表示储粮害虫的位置，记为(x,y)。

根据目标框图信息对目标害虫数量进行判断，若目标害虫数量为1只，判定为单目标害虫；若目标害虫数量为多只，判定为多目标害虫；判定为多目标害虫的具体过程为：

对获得的目标框图采样连续n帧图像，针对赤拟谷盗在25度温度，520nm波长（即绿色区）条件下，n设置为10，对每一帧图像中的目标害虫信息进行统计，记为F={f1,f2,...,fn}；

式中，f代表每一帧检测出来的目标害虫位置信息的列表；

通过比较相邻两帧之间F中列表长度，连续n-2帧目标害虫位置信息的列表长度相同时，确定图像中的目标害虫数量为实际储粮害虫的数量；通过连续n-2帧目标害虫位置信息的列表长度相同，确定实际储粮害虫数量的目的是防止噪声等因素的干扰造成的显示闪频问题或计数不准确问题，以有效排除视频抖动导致出现检测异常的情况。

将单目标害虫图像进行多帧目标框图对比，得到对应时间间隔内的害虫行为分析指标统计，生产单目标行为结果统计表，即对于单目标，根据其每一帧的位置信息进行连续跟踪，从而获得害虫行为分析指标。

判定为多目标时，设定K近邻算法的K值为1，将多目标害虫的目标框图输入K近邻算法后得到对应时间间隔内的害虫行为分析指标统计，生成多目标害虫行为结果统计表；具体步骤为：

将目标害虫的编号以及坐标信息，记为字典d{1:[(x1,y1),…],…}，1为key值，表示害虫的编号；(x1,y1)为value值，表示其帧间运动轨迹坐标；

根据字典d中每个目标害虫编号对应的坐标信息，画出其运动轨迹；

在F中比较连续两帧之间的位置信息，以前一帧为模板，通过K近邻算法，选择K=1，即最近邻算法，为每一个坐标匹配与之最相近的坐标，即为该目标前后运动坐标。

视频中背景比较稳定，且连续两帧之间图像变化微小，由此设置K近邻算法的K值为K=1，采用欧氏距离计算对储粮害虫的行进间距进行计算，即

式中，x_i和x_j表示前一帧第i个目标和后一帧第j个目标；n表示计算的维度，此处n为2；l表示第l个维度；

由于KNN算法速度较慢，难以保证实时性，为了提高K近邻搜索的效率，使用kd树结构的存储结构训练数据来减少计算距离的次数，kd树是一种k维空间中的实例点进行存储以便对其进行快速检索的二叉树形数据结构；

当出现目标害虫重叠的情况时，存在字典d中一个目标害虫的坐标

未匹配；目标害虫数量增加后，使用KNN算法进行运算时会剩下一个目标害虫坐标信息与字典d中坐标信息未匹配，若此目标害虫的坐标与之前消失目标害虫的坐标

的欧式距离小于阈值ε，针对赤拟谷盗，阈值ε设置为3；同时计算目标害虫与之前消失目标害虫的运动方向，根据在极小时间内物体运动方向改变量小的特点，将运动方向尽可能保持一致（即运动方向角度改变量较小）的目标害虫设为同一目标害虫；判定该目标害虫为重叠的目标害虫，将其新坐标加入字典d中对应储粮害虫编号的列表中；

根据字典d计算各目标害虫的行为分析指标，目标害虫行为分析指标包括行走距离、行走速度、休息频次、休息时常、飞行频次、飞行距离、行走频次、行走趋向、转弯次数、直行次数、钻入面粉头数、钻出面粉头数和聚集；

计算储粮害虫的行为分析指标的过程为：

行走距离：计算字典d中每个储粮害虫相邻两个坐标的欧式距离

，行走距离为

。

行走速度：记帧间间隔时间列表为t，当前行走速度

。

休息频次：当连续五十帧速度为0，则判断其为休息状态，置状态flag=1，当速度不为0时，置flag=0，休息频次c增加1。

休息时常：对flag为1的帧所对应的时间间隔进行累加，即为总休息时常。

飞行频次：flag为0时，则为非休息状态，若

大于速度阈值

，针对赤拟谷盗，

取值为25cm/s。

飞行距离：飞行状态下的行走距离之和为飞行距离。

行走频次：flag为0时，

小于速度阈值

时，记为行走状态，行走频次r加1。

行走趋向：由以下公式通过间隔5帧图像之间的坐标计算运动方向

，

。

转弯次数：当行走趋向

角度大于90度时，则为一次转弯，转弯次数c_turn加1。

直行次数：连续10帧行走趋向

小于90度且flag为1时，为直行状态，当flag置为1或转弯时，直行次数c_straight加1。

钻入面粉头数：当储粮害虫数量减少时，且丢失信息的位置在面粉矩形框内，则钻入面粉头数c_in加1。

钻出面粉头数：当储粮害虫数量增加时，且新增信息的位置在面粉矩形框内，则钻出面粉头数c_out加1。

聚集：采用热力图统计方式，根据字典d的值，对每个坐标设置热力计数器，统计各坐标出现的次数，对比面粉所在矩形框位置，统计各个面粉区域出现储粮害虫的总次数，即可得到其聚集情况。

根据获得的储粮害虫行为分析指标生成多目标害虫行为结果统计表（参见下表）。

根据害虫行为结果统计表，对储粮害虫的分布状况进行科学预测，从而便于使用对应的害虫防治策略，如在储粮害虫可能的聚集处设置灭虫灯，从而进行高效灭虫。

该储粮害虫的运动行为分析方法能针对赤拟谷盗进行轨迹追踪及取食行为分析，进而生成对应的防治策略，提高防治效率，节约经济成本；能对赤拟谷盗的轨迹进行实时跟踪，使分析结果更准确；解决了现有分析过程不具有实时性，且准确性和效率均低下的问题。

实施例2

该基于储粮害虫运动行为分析方法的实验装置，包括底座1，底座1上设置有支撑杆2，支撑杆2呈L状，支撑杆2的端头安装有摄像头3，摄像头3下方的底座1上设置有容纳10只以内目标害虫的比例图纸4；摄像头3的作用是对比例图纸上的储粮害虫行为及轨迹进行检测，从而通过分析方法分析其行为分析指标；比例图纸4的作用是在实验时，通过目标害虫在比例图纸4上的位置信息获得目标害虫的坐标信息，同时通过比例图纸4的比例大小获得目标害虫的面积大小信息，由此便于对目标害虫的行为分析指标进行分析；由于储粮害虫具有聚集的生物习性，目标害虫数量越多，对聚集的害虫进行检测越困难，当比例图纸4上的目标害虫数量超过10只，且聚集在一处时，在检测过程中容易出现出现错误，由此需控制比例图纸4上的目标害虫少于或等于10只。

通过该基于储粮害虫运动行为分析方法的实验装置进行实验，对目标害虫的行为分析指标进行分析时，在比例图纸4上均布放置多个面粉堆；面粉堆放置完成后，将待检测分析的目标害虫放置在比例图纸4上；目标害虫放置完成后，启动摄像头3，通过摄像头3采集目标害虫的行为视频；视频采集完成后，将视频导入储存有基于储粮害虫运动行为分析方法程序的计算机中，通过计算机中的基于储粮害虫运动行为分析方法程序对目标害虫的行为分析指标进行检测分析，并生成对应的结果统计表；还可以将摄像头3连接至储存有基于储粮害虫运动行为分析方法程序的计算机，从而在视频拍摄过程中进行实时分析，生成对应的结果统计表。

作为该基于储粮害虫运动行为分析方法的实验装置的改进，所述的比例图纸4一侧设置有温度光功率器5(温度光功率器5由温度控制器和光波长控制器构成，温度控制器的型号为RedsumRSA-121A，光波长控制器的型号为WideawakeS980)，温度光功率器5的作用是调节比例图纸4表面的温度或光照，进而在不同温度或光照下分析目标害虫的行为分析指标，增加目标害虫行为分析结果的多样性和准确性。

通过该基于储粮害虫运动行为分析方法的实验装置进行实验，对目标害虫的行为分析指标进行分析时，在比例图纸4上均布放置多个面粉堆；面粉堆放置完成后，将待检测分析的目标害虫放置在比例图纸4上；目标害虫放置完成后，启动摄像头3，通过摄像头3采集目标害虫在正常情况下（正常温度环境及正常光照条件）的行为视频；目标害虫正常情况下的行为视频采集完成后，通过温度光功率器5改变比例图纸4表面的温度或光照，对目标害虫在比例图纸4表面依次在低温最适宜光照条件、最适宜温度最适宜光照条件、高温最适宜光照条件、弱光低温条件、强光低温条件、弱光最适宜温度条件、强光最适宜条件、弱光高温条件、强光高温条件的环境中的行为进行视频采集；视频采集完成后，将视频导入储存有基于储粮害虫运动行为分析方法程序的计算机中，通过计算机中的基于储粮害虫运动行为分析方法程序对目标害虫的行为分析指标进行检测分析，并生成对应的结果统计表；还可以将摄像头3连接至储存有基于储粮害虫运动行为分析方法程序的计算机，从而在视频拍摄过程中进行实时分析，生成对应的结果统计表。

作为该基于储粮害虫运动行为分析方法的实验装置的进一步改进，所述的摄像头3下方设置有多张比例图纸4，比例图纸4之间设置有隔开比例图纸4的隔板6，隔板6的作用是对比例图纸4进行分隔，使各比例图纸4所在的空间为独立空间，从而使不同比例图纸4上的目标害虫不易相互聚集，由此能对超过10只以上目标害虫的行为同时进行分析。

通过该基于储粮害虫运动行为分析方法的实验装置进行实验，对目标害虫的行为分析指标进行分析时，在隔板6之间的各比例图纸4上分别均布放置多个面粉堆；面粉堆放置完成后，将待检测分析的目标害虫放置在比例图纸4上；目标害虫放置完成后，启动摄像头3，通过摄像头3对所有比例图纸4上的目标害虫行为视频进行采集；视频采集完成后，将视频导入储存有基于储粮害虫运动行为分析方法程序的计算机中，通过计算机中的基于储粮害虫运动行为分析方法程序对目标害虫的行为分析指标进行检测分析，并生成对应的结果统计表；还可以将摄像头3连接至储存有基于储粮害虫运动行为分析方法程序的计算机，从而在视频拍摄过程中进行实时分析，生成对应的结果统计表。

该基于储粮害虫运动行为分析方法的实验装置结构简单，使用方便，能对储粮害虫的行为进行拍摄，从而能对储粮害虫的行为进行有效分析；通过温度光功率器能调节比例图纸4上的环境，从而能对储粮害虫在不同环境下的行为进行分析，进而能提高分析结果的多样性和准确性，进而对目标害虫有利于生成对应的防治策略；解决了现有分析过程不具有实时性，且准确性和效率均低下的问题。

Claims (4)

1.一种储粮害虫的运动行为分析方法，其特征在于：包括如下步骤：

1）、通过连续时间间隔视频采集的拍摄图像，依次进行背景减除、高斯加权平均、二值化、腐蚀、膨胀生成目标框图；

2）、通过将步骤1）获得的目标框图与预设在比例图纸上的基础坐标比对，得出目标框图内目标害虫的坐标信息；

3）、根据目标框图信息对目标害虫数量进行判断，若目标害虫数量为1只，判定为单目标害虫；若目标害虫数量为多只，判定为多目标害虫；

4）、将单目标害虫图像进行多帧目标框图对比，得到对应时间间隔内的害虫行为分析指标统计，生产单目标行为结果统计表；

5）、设定K近邻算法的K值为1，将多目标害虫的目标框图输入K近邻算法后得到对应时间间隔内的害虫行为分析指标统计，生成多目标害虫行为结果统计表；

6）、根据害虫行为结果统计表生成对应的害虫防治策略；

所述的步骤5）的具体步骤为：

将目标害虫的编号以及坐标信息，记为字典d{1:[(x1,y1),…],…}，1为key值，表示害虫的编号；(x1,y1)为value值，表示其帧间运动轨迹坐标；

根据字典d中每个目标害虫编号对应的坐标信息，画出其运动轨迹；

设置K近邻算法的K值为K=1，采用欧氏距离计算对储粮害虫的行进间距进行计算，即

式中，

和

表示前一帧第i个目标和后一帧第j个目标；n表示计算的维度，此处n为2；

表示第

个维度；

当出现目标害虫重叠的情况时，存在字典d中一个目标害虫的坐标

未匹配；目标害虫数量增加后，使用KNN算法进行运算时会剩下一个目标害虫坐标信息与字典d中坐标信息未匹配，此时计算目标害虫与之前消失目标害虫的运动方向，根据在极小时间内物体运动方向改变量小的特点，将运动方向尽可能保持一致的目标害虫设为同一目标害虫；若此目标害虫的坐标与之前消失目标害虫的坐标

的欧式距离小于阈值ε，判定该目标害虫为重叠的目标害虫，将其新坐标加入字典d中对应储粮害虫编号的列表中；

根据字典d计算各目标害虫的行为分析指标，生成多目标害虫行为结果统计表。

2.根据权利要求1所述的一种储粮害虫的运动行为分析方法，其特征在于：所述的步骤3）中判定为多目标害虫的具体过程为：

对步骤1）获得的目标框图采样连续n帧图像，对每一帧图像中的目标害虫信息进行统计，记为F={f1,f2,...,fn}

式中，f代表每一帧检测出来的目标害虫位置信息的列表；

通过比较相邻两帧之间F中列表长度，连续n-2帧目标害虫位置信息的列表长度相同时，确定图像中的目标害虫数量为实际储粮害虫的数量。

3.根据权利要求1所述的一种储粮害虫的运动行为分析方法，其特征在于：所述的目标害虫行为分析指标包括行走距离、行走速度、休息频次、休息时常、飞行频次、飞行距离、行走频次、行走趋向、转弯次数、直行次数、钻入面粉头数、钻出面粉头数和聚集。

4.根据权利要求1所述的一种基于储粮害虫运动行为分析方法的实验装置，包括底座（1），其特征在于：底座（1）上通过支撑杆（2）安装有摄像头（3），摄像头（3）下方的底座（1）上设置有容纳10只以内目标害虫的比例图纸（4）；

所述的比例图纸（4）一侧设置有温度光功率器（5）；

所述的摄像头（3）下方设置有多张比例图纸（4），比例图纸（4）之间设置有隔开比例图纸（4）的隔板（6）。

Images