CN109726665B - 一种基于动态轨迹分析的农业害虫检测方法 - Google Patents

一种基于动态轨迹分析的农业害虫检测方法 Download PDF

Info

Publication number
CN109726665B
CN109726665B CN201811588092.4A CN201811588092A CN109726665B CN 109726665 B CN109726665 B CN 109726665B CN 201811588092 A CN201811588092 A CN 201811588092A CN 109726665 B CN109726665 B CN 109726665B
Authority
CN
China
Prior art keywords
pest
frame image
pests
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811588092.4A
Other languages
English (en)
Other versions
CN109726665A (zh
Inventor
王红强
王儒敬
董士风
焦林
张绳昱
王琦进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201811588092.4A priority Critical patent/CN109726665B/zh
Publication of CN109726665A publication Critical patent/CN109726665A/zh
Application granted granted Critical
Publication of CN109726665B publication Critical patent/CN109726665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供一种基于动态轨迹分析的农业害虫检测方法，该方法包括：摄录一段由若干帧图像构成的害虫收集视频；采用经过训练的深度学习目标检测器定位每帧图像中的害虫，获取每帧图像中害虫的目标框信息；标记害虫的掉落动态位置；确定同一害虫的掉落动态轨迹；绘制所有害虫的掉落动态轨迹，输出掉落动态轨迹数目作为该段害虫收集视频内检测的害虫总数目。本发明通过分析害虫的掉落动态轨迹获得了害虫的动态信息，减少了害虫的误检率和漏检率，有效提高了害虫的检测精度和鲁棒性。

Description

一种基于动态轨迹分析的农业害虫检测方法
技术领域
本发明涉及农业病虫害防治技术领域，具体是一种基于动态轨迹分析的农业害虫检测方法。
背景技术
我国是农业大国，农业虫害时常发生，造成农作物大量减产。害虫种类和数量的监测是农业虫害精准防治的前提。目前害虫识别与计数主要靠人工到田间进行抽样调查、清点诱集器里的害虫等方法。这些方法耗时、费力，监测人员的工作量大，主观因素影响大，无法实现害虫的实时预测预报。随着害虫识别需求的增大与害虫识别专家相对较少的矛盾日益加剧，害虫自动化检测的应用价值越发重要。
现有的基于图像的害虫自动识别与计数技术，通常应用高压电网电击方法将害虫击死，再收集在一起拍摄图像进行计数。集中收集造成害虫图像目标过多，虫子姿态变异大，不同虫体粘连、堆叠甚至小虫被掩盖等问题，降低了识别和计数的准确率，且鲁棒性差。
发明内容
本发明的目的在于提供一种基于动态轨迹分析的农业害虫检测方法，以解决现有技术中依赖静态图像识别与计数造成的计数不可靠、不准确等问题。
本发明的技术方案为：
一种基于动态轨迹分析的农业害虫检测方法，包括以下步骤：
(1)摄录一段由N帧图像构成的害虫收集视频，并按照时间先后顺序将所述N帧图像依次标记为I1,I2,…,IN；
(2)采用经过训练的深度学习目标检测器定位每帧图像中的害虫，获取每帧图像中害虫的目标框信息
Figure BDA0001919606170000021
其中，
Figure BDA0001919606170000022
Figure BDA0001919606170000023
分别表示第t帧图像中第i条害虫的目标框的中心横坐标、中心纵坐标、高度和宽度，t＝1,…,N，i＝1,…,L，L为第t帧图像中害虫的数目；
(3)根据步骤(2)所获取的害虫的目标框信息，标记害虫的掉落动态位置；
(4)根据步骤(3)所标记的害虫的掉落动态位置，确定同一害虫的掉落动态轨迹；
(5)绘制所有害虫的掉落动态轨迹，输出掉落动态轨迹数目作为该段害虫收集视频内检测的害虫总数目。
所述的基于动态轨迹分析的农业害虫检测方法，所述步骤(3)具体包括以下步骤：
a、对于第一帧图像I1中的害虫，标记其位置为
Figure BDA0001919606170000024
其中，
Figure BDA0001919606170000025
分别表示第一帧图像I1中第i条害虫的目标框的中心横坐标和纵坐标；
b、依次将第二至第N帧图像I2,…,IN作为当前帧图像IT进行遍历，T＝2,…,N；
c、对于上一帧图像IT-1中已标记的害虫，将其在上一帧图像IT-1中的目标框信息逐一与当前帧图像IT中所有害虫的目标框信息进行比较，从当前帧图像IT中找出同时满足|Δx|<u、0<Δy<v、|Δh|<e、|Δw|<e四个条件的目标框，组成目标框集合S，其中，Δx、Δy、Δh、Δw分别表示进行比较的两个目标框之间的中心横坐标差值、中心纵坐标差值、高度误差和宽度误差，u、v、e为误差阈值常数；
d、如果与上一帧图像IT-1中已标记的某条害虫相应的S为非空，则采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度，选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框，并将该害虫在当前帧图像IT中的位置标记为
Figure BDA0001919606170000031
其中，
Figure BDA0001919606170000032
分别表示上一帧图像IT-1中已标记的第i条害虫在当前帧图像IT中的目标框的中心横坐标和纵坐标；
e、如果与上一帧图像IT-1中已标记的某条害虫相应的S为空，则判定该害虫在当前帧图像IT中消失，并将该害虫在后续所有帧图像IT+m中的位置标记为(IT+m,0,0)，其中，m＝0,…,N-T；
f、去除已被判定为上一帧图像IT-1中已标记的害虫在当前帧图像IT中的目标框，将剩下的且出现在当前帧图像IT的上四分之一部分的目标框作为当前帧图像IT中新出现的害虫的目标框；
g、对于当前帧图像IT中新出现的害虫，标记其位置为
Figure BDA0001919606170000033
其中，
Figure BDA0001919606170000034
分别表示当前帧图像IT中新出现的第j条害虫的目标框的中心横坐标和纵坐标，j＝1,…,K，K为当前帧图像IT中新出现的害虫的数目；同时，将当前帧图像IT中新出现的害虫在之前所有帧图像In中的位置标记为(In,0,0)，其中，n＝1,…,T-1；
h、重复步骤c至步骤g，直至遍历完最后一帧图像。
所述的基于动态轨迹分析的农业害虫检测方法，所述步骤d中，采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度，选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框，具体包括以下步骤：
d1、将S中的各个目标框图像以及该害虫在上一帧图像IT-1中的目标框图像均缩小到8*8的尺寸；
d2、将步骤d1中缩小后的目标框图像转为64级灰度；
d3、计算每个目标框图像中总共64个像素的灰度平均值；
d4、将每个目标框图像中每个像素的灰度与相应的平均值进行比较，大于或等于平均值记为1，小于平均值记为0；
d5、对于每个目标框图像，将相应的比较结果组合在一起，构成一个64位的数组，将该数组作为相应目标框图像的哈希指纹；
d6、利用步骤d5得到的哈希指纹，逐一计算S中的各个目标框图像与该害虫在上一帧图像IT-1中的目标框图像的哈希相似度；
d7、选择S中具有最大哈希相似度的目标框作为该害虫在当前帧图像IT中的目标框。
本发明的有益效果为：
由上述技术方案可知，本发明通过分析害虫的掉落动态轨迹获得了害虫的动态信息，减少了害虫的误检率和漏检率，有效提高了害虫的检测精度和鲁棒性。
附图说明
图1是本发明的方法流程图；
图2是绘制的害虫的掉落动态轨迹示意图。
具体实施方式
下面结合附图和具体实施例进一步说明本发明。
如图1所示，一种基于动态轨迹分析的农业害虫检测方法，包括以下步骤：
S1、摄录一段害虫收集视频(如采用30帧/秒的高清摄像头)，包含N帧图像，按照时间先后顺序标记这些图像为I1,I2,…,IN。
S2、采用足够数目的标记好的害虫图像训练深度学习目标检测器，然后采用经过训练的深度学习目标检测器定位每帧图像中的害虫，获取每帧图像中害虫的目标框信息
Figure BDA0001919606170000051
其中，
Figure BDA0001919606170000052
分别表示第t帧图像中第i条害虫的目标框的中心横坐标、中心纵坐标、高度和宽度，t＝1,…,N，i＝1,…,L，L为第t帧图像中害虫的数目。
S3、根据步骤S2所获取的害虫的目标框信息，标记害虫的掉落动态位置，即标记每帧图像中新出现的害虫以及上一帧图像中已标记害虫在当前帧图像中的位置，具体包括以下步骤：
S31、对于第一帧图像I1中的害虫，标记其位置为
Figure BDA0001919606170000053
其中，
Figure BDA0001919606170000054
分别表示第一帧图像I1中第i条害虫的目标框的中心横坐标和纵坐标。
S32、依次将第二至第N帧图像I2,…,IN作为当前帧图像IT进行遍历，T＝2,…,N。
S33、对于上一帧图像IT-1中已标记的害虫，将其在上一帧图像IT-1中的目标框信息逐一与当前帧图像IT中所有害虫的目标框信息进行比较，从当前帧图像IT中找出同时满足限定条件|Δx|<u、0<Δy<v、|Δh|<e、|Δw|<e的目标框，组成目标框集合S，其中，Δx、Δy、Δh、Δw分别表示进行比较的两个目标框之间的中心横坐标差值、中心纵坐标差值、高度误差和宽度误差，u、v、e为误差阈值常数。
S34、如果与上一帧图像IT-1中已标记的某条害虫相应的S为非空，则采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度，选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框，并将该害虫在当前帧图像IT中的位置标记为
Figure BDA0001919606170000061
其中，
Figure BDA0001919606170000062
分别表示上一帧图像IT-1中已标记的第i条害虫在当前帧图像IT中的目标框的中心横坐标和纵坐标。
其中，采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度，选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框，具体包括以下步骤：
S341、将S中的各个目标框图像以及该害虫在上一帧图像IT-1中的目标框图像均缩小到8*8的尺寸；
S342、将步骤S341中缩小后的目标框图像转为64级灰度；
S343、计算每个目标框图像中总共64个像素的灰度平均值；
S344、将每个目标框图像中每个像素的灰度与相应的平均值进行比较，大于或等于平均值记为1，小于平均值记为0；
S345、对于每个目标框图像，将相应的比较结果组合在一起，构成一个64位的数组，将该数组作为相应目标框图像的哈希指纹；
S346、利用步骤S345得到的哈希指纹，逐一计算S中的各个目标框图像与该害虫在上一帧图像IT-1中的目标框图像的哈希相似度；
S347、选择S中具有最大哈希相似度的目标框作为该害虫在当前帧图像IT中的目标框。
S35、如果与上一帧图像IT-1中已标记的某条害虫相应的S为空，则判定该害虫在当前帧图像IT中消失，并将该害虫在后续所有帧图像IT+m中的位置标记为(IT+m,0,0)，其中，m＝0,…,N-T。
S36、从当前帧图像的所有目标框中，去除已被判定为上一帧图像IT-1中已标记的害虫在当前帧图像IT中的目标框，将剩下的且出现在当前帧图像IT的上四分之一部分(即P＝0.25)的目标框作为当前帧图像IT中新出现的害虫的目标框。
S37、对于当前帧图像IT中新出现的害虫，标记其位置为
Figure BDA0001919606170000071
其中，
Figure BDA0001919606170000072
分别表示当前帧图像IT中新出现的第j条害虫的目标框的中心横坐标和纵坐标，j＝1,…,K，K为当前帧图像IT中新出现的害虫的数目；同时，将当前帧图像IT中新出现的害虫在之前所有帧图像In中的位置标记为(In,0,0)，其中，n＝1,…,T-1。
S38、重复步骤S33至步骤S37，直至遍历完最后一帧图像。
S4、根据步骤S3所标记的害虫的掉落动态位置，确定同一害虫的掉落动态轨迹。
S5、绘制所有害虫的掉落动态轨迹
Figure BDA0001919606170000081
Figure BDA0001919606170000082
输出掉落动态轨迹数目C作为整个视频内检测的害虫总数目，Gc表示第c条害虫的掉落动态轨迹。
如图2所示，x、y为害虫的掉落动态轨迹坐标轴，t为视频中的第t帧图像，G1表示的是第一条害虫的掉落动态轨迹，Gk表示的是第k条害虫的掉落动态轨迹，GC表示的是最后一条害虫的掉落动态轨迹。
Figure BDA0001919606170000083
Figure BDA0001919606170000084
Figure BDA0001919606170000085
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (3)

1.一种基于动态轨迹分析的农业害虫检测方法，其特征在于，该方法包括以下步骤：
(1)摄录一段由N帧图像构成的害虫收集视频，并按照时间先后顺序将所述N帧图像依次标记为I1,I2,…,IN；
(2)采用经过训练的深度学习目标检测器定位每帧图像中的害虫，获取每帧图像中害虫的目标框信息
Figure FDA0001919606160000011
其中，
Figure FDA0001919606160000012
Figure FDA0001919606160000013
分别表示第t帧图像中第i条害虫的目标框的中心横坐标、中心纵坐标、高度和宽度，t＝1,…,N，i＝1,…,L，L为第t帧图像中害虫的数目；
(3)根据步骤(2)所获取的害虫的目标框信息，标记害虫的掉落动态位置；
(4)根据步骤(3)所标记的害虫的掉落动态位置，确定同一害虫的掉落动态轨迹；
(5)绘制所有害虫的掉落动态轨迹，输出掉落动态轨迹数目作为该段害虫收集视频内检测的害虫总数目。
2.根据权利要求1所述的基于动态轨迹分析的农业害虫检测方法，其特征在于，所述步骤(3)具体包括以下步骤：
a、对于第一帧图像I1中的害虫，标记其位置为
Figure FDA0001919606160000014
其中，
Figure FDA0001919606160000015
分别表示第一帧图像I1中第i条害虫的目标框的中心横坐标和纵坐标；
b、依次将第二至第N帧图像I2,…,IN作为当前帧图像IT进行遍历，T＝2,…,N；
c、对于上一帧图像IT-1中已标记的害虫，将其在上一帧图像IT-1中的目标框信息逐一与当前帧图像IT中所有害虫的目标框信息进行比较，从当前帧图像IT中找出同时满足|Δx|<u、0<Δy<v、|Δh|<e、|Δw|<e四个条件的目标框，组成目标框集合S，其中，Δx、Δy、Δh、Δw分别表示进行比较的两个目标框之间的中心横坐标差值、中心纵坐标差值、高度误差和宽度误差，u、v、e为误差阈值常数；
d、如果与上一帧图像IT-1中已标记的某条害虫相应的S为非空，则采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度，选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框，并将该害虫在当前帧图像IT中的位置标记为
Figure FDA0001919606160000021
其中，
Figure FDA0001919606160000022
分别表示上一帧图像IT-1中已标记的第i条害虫在当前帧图像IT中的目标框的中心横坐标和纵坐标；
e、如果与上一帧图像IT-1中已标记的某条害虫相应的S为空，则判定该害虫在当前帧图像IT中消失，并将该害虫在后续所有帧图像IT+m中的位置标记为(IT+m,0,0)，其中，m＝0,…,N-T；
f、去除已被判定为上一帧图像IT-1中已标记的害虫在当前帧图像IT中的目标框，将剩下的且出现在当前帧图像IT的上四分之一部分的目标框作为当前帧图像IT中新出现的害虫的目标框；
g、对于当前帧图像IT中新出现的害虫，标记其位置为
Figure FDA0001919606160000023
其中，
Figure FDA0001919606160000024
分别表示当前帧图像IT中新出现的第j条害虫的目标框的中心横坐标和纵坐标，j＝1,…,K，K为当前帧图像IT中新出现的害虫的数目；同时，将当前帧图像IT中新出现的害虫在之前所有帧图像In中的位置标记为(In,0,0)，其中，n＝1,…,T-1；
h、重复步骤c至步骤g，直至遍历完最后一帧图像。
3.根据权利要求2所述的基于动态轨迹分析的农业害虫检测方法，其特征在于，所述步骤d中，采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度，选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框，具体包括以下步骤：
d1、将S中的各个目标框图像以及该害虫在上一帧图像IT-1中的目标框图像均缩小到8*8的尺寸；
d2、将步骤d1中缩小后的目标框图像转为64级灰度；
d3、计算每个目标框图像中总共64个像素的灰度平均值；
d4、将每个目标框图像中每个像素的灰度与相应的平均值进行比较，大于或等于平均值记为1，小于平均值记为0；
d5、对于每个目标框图像，将相应的比较结果组合在一起，构成一个64位的数组，将该数组作为相应目标框图像的哈希指纹；
d6、利用步骤d5得到的哈希指纹，逐一计算S中的各个目标框图像与该害虫在上一帧图像IT-1中的目标框图像的哈希相似度；
d7、选择S中具有最大哈希相似度的目标框作为该害虫在当前帧图像IT中的目标框。
CN201811588092.4A 2018-12-25 2018-12-25 一种基于动态轨迹分析的农业害虫检测方法 Active CN109726665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811588092.4A CN109726665B (zh) 2018-12-25 2018-12-25 一种基于动态轨迹分析的农业害虫检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811588092.4A CN109726665B (zh) 2018-12-25 2018-12-25 一种基于动态轨迹分析的农业害虫检测方法

Publications (2)

Publication Number Publication Date
CN109726665A CN109726665A (zh) 2019-05-07
CN109726665B true CN109726665B (zh) 2022-10-25

Family

ID=66297724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811588092.4A Active CN109726665B (zh) 2018-12-25 2018-12-25 一种基于动态轨迹分析的农业害虫检测方法

Country Status (1)

Country Link
CN (1) CN109726665B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782476B (zh) * 2019-11-06 2022-08-02 杭州益昊农业科技有限公司 一种昆虫运动轨迹的测定方法及其测定装置
CN112800929B (zh) * 2021-01-25 2022-05-31 安徽农业大学 一种基于深度学习的竹笋数量与高生长率在线监测方法
CN113361429B (zh) * 2021-06-11 2022-11-04 长江大学 一种储粮害虫的运动行为分析方法与实验装置
CN114544869A (zh) * 2022-01-27 2022-05-27 北京良安科技有限公司 一种气体及虫害检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161697A1 (zh) * 2014-04-25 2015-10-29 深港产学研基地 应用于人机交互的运动物体跟踪方法及系统
CN108021848A (zh) * 2016-11-03 2018-05-11 浙江宇视科技有限公司 客流量统计方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015161697A1 (zh) * 2014-04-25 2015-10-29 深港产学研基地 应用于人机交互的运动物体跟踪方法及系统
CN108021848A (zh) * 2016-11-03 2018-05-11 浙江宇视科技有限公司 客流量统计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉感知的蔬菜害虫诱捕计数算法;肖德琴等;《农业机械学报》;20180325(第03期);全文 *

Also Published As

Publication number Publication date
CN109726665A (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN109726665B (zh) 一种基于动态轨迹分析的农业害虫检测方法
Petrellis A smart phone image processing application for plant disease diagnosis
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN109325431B (zh) 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
Shrestha et al. Automatic corn plant population measurement using machine vision
CN107330403B (zh) 一种基于视频数据的牦牛计数方法
CN111310756A (zh) 一种基于深度学习的损伤玉米颗粒检测和分类方法
CN113298023B (zh) 一种基于深度学习及图像技术的昆虫动态行为识别方法
CN113343795B (zh) 一种目标关联视频追踪处理方法
CN109631766B (zh) 一种基于图像的木材板尺寸测量方法
CN111476119B (zh) 一种基于时空上下文的昆虫行为识别方法及装置
CN111640135A (zh) 一种基于硬件前端的tof摄像头行人计数方法
CN115019103A (zh) 基于坐标注意力群组优化的小样本目标检测方法
CN115527130A (zh) 草原害鼠鼠密度调查方法及智能评估系统
Balomenos et al. Tracking single-cells in overcrowded bacterial colonies
CN108090917A (zh) 一种面向智能机器人的目标物体追踪系统
CN111223126B (zh) 一种基于迁移学习的跨视角轨迹模型构建方法
CN116863388A (zh) 一种基于神经网络的精子活力确定方法及系统
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN108875825B (zh) 一种基于图像分块的粮仓害虫检测方法
CN110705698A (zh) 尺度自适应感知的目标计数深度网络设计方法
CN114550069B (zh) 一种基于深度学习的仔猪乳头计数方法
CN112001290B (zh) 一种基于yolo算法的稻飞虱迁飞路径预测方法
CN114612898A (zh) 一种基于YOLOv5网络的荔枝蒂蛀虫羽化率检测方法
CN110175531B (zh) 一种基于姿态的考生位置定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant