CN109726665A - 一种基于动态轨迹分析的农业害虫检测方法 - Google Patents
一种基于动态轨迹分析的农业害虫检测方法 Download PDFInfo
- Publication number
- CN109726665A CN109726665A CN201811588092.4A CN201811588092A CN109726665A CN 109726665 A CN109726665 A CN 109726665A CN 201811588092 A CN201811588092 A CN 201811588092A CN 109726665 A CN109726665 A CN 109726665A
- Authority
- CN
- China
- Prior art keywords
- pest
- frame image
- target
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供一种基于动态轨迹分析的农业害虫检测方法,该方法包括:摄录一段由若干帧图像构成的害虫收集视频;采用经过训练的深度学习目标检测器定位每帧图像中的害虫,获取每帧图像中害虫的目标框信息;标记害虫的掉落动态位置;确定同一害虫的掉落动态轨迹;绘制所有害虫的掉落动态轨迹,输出掉落动态轨迹数目作为该段害虫收集视频内检测的害虫总数目。本发明通过分析害虫的掉落动态轨迹获得了害虫的动态信息,减少了害虫的误检率和漏检率,有效提高了害虫的检测精度和鲁棒性。
Description
技术领域
本发明涉及农业病虫害防治技术领域,具体是一种基于动态轨迹分析的农业害虫检测方法。
背景技术
我国是农业大国,农业虫害时常发生,造成农作物大量减产。害虫种类和数量的监测是农业虫害精准防治的前提。目前害虫识别与计数主要靠人工到田间进行抽样调查、清点诱集器里的害虫等方法。这些方法耗时、费力,监测人员的工作量大,主观因素影响大,无法实现害虫的实时预测预报。随着害虫识别需求的增大与害虫识别专家相对较少的矛盾日益加剧,害虫自动化检测的应用价值越发重要。
现有的基于图像的害虫自动识别与计数技术,通常应用高压电网电击方法将害虫击死,再收集在一起拍摄图像进行计数。集中收集造成害虫图像目标过多,虫子姿态变异大,不同虫体粘连、堆叠甚至小虫被掩盖等问题,降低了识别和计数的准确率,且鲁棒性差。
发明内容
本发明的目的在于提供一种基于动态轨迹分析的农业害虫检测方法,以解决现有技术中依赖静态图像识别与计数造成的计数不可靠、不准确等问题。
本发明的技术方案为:
一种基于动态轨迹分析的农业害虫检测方法,包括以下步骤:
(1)摄录一段由N帧图像构成的害虫收集视频,并按照时间先后顺序将所述N帧图像依次标记为I1,I2,…,IN;
(2)采用经过训练的深度学习目标检测器定位每帧图像中的害虫,获取每帧图像中害虫的目标框信息其中, 分别表示第t帧图像中第i条害虫的目标框的中心横坐标、中心纵坐标、高度和宽度,t=1,…,N,i=1,…,L,L为第t帧图像中害虫的数目;
(3)根据步骤(2)所获取的害虫的目标框信息,标记害虫的掉落动态位置;
(4)根据步骤(3)所标记的害虫的掉落动态位置,确定同一害虫的掉落动态轨迹;
(5)绘制所有害虫的掉落动态轨迹,输出掉落动态轨迹数目作为该段害虫收集视频内检测的害虫总数目。
所述的基于动态轨迹分析的农业害虫检测方法,所述步骤(3)具体包括以下步骤:
a、对于第一帧图像I1中的害虫,标记其位置为其中,分别表示第一帧图像I1中第i条害虫的目标框的中心横坐标和纵坐标;
b、依次将第二至第N帧图像I2,…,IN作为当前帧图像IT进行遍历,T=2,…,N;
c、对于上一帧图像IT-1中已标记的害虫,将其在上一帧图像IT-1中的目标框信息逐一与当前帧图像IT中所有害虫的目标框信息进行比较,从当前帧图像IT中找出同时满足|Δx|<u、0<Δy<v、|Δh|<e、|Δw|<e四个条件的目标框,组成目标框集合S,其中,Δx、Δy、Δh、Δw分别表示进行比较的两个目标框之间的中心横坐标差值、中心纵坐标差值、高度误差和宽度误差,u、v、e为误差阈值常数;
d、如果与上一帧图像IT-1中已标记的某条害虫相应的S为非空,则采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度,选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框,并将该害虫在当前帧图像IT中的位置标记为其中,分别表示上一帧图像IT-1中已标记的第i条害虫在当前帧图像IT中的目标框的中心横坐标和纵坐标;
e、如果与上一帧图像IT-1中已标记的某条害虫相应的S为空,则判定该害虫在当前帧图像IT中消失,并将该害虫在后续所有帧图像IT+m中的位置标记为(IT+m,0,0),其中,m=0,…,N-T;
f、去除已被判定为上一帧图像IT-1中已标记的害虫在当前帧图像IT中的目标框,将剩下的且出现在当前帧图像IT的上四分之一部分的目标框作为当前帧图像IT中新出现的害虫的目标框;
g、对于当前帧图像IT中新出现的害虫,标记其位置为其中,分别表示当前帧图像IT中新出现的第j条害虫的目标框的中心横坐标和纵坐标,j=1,…,K,K为当前帧图像IT中新出现的害虫的数目;同时,将当前帧图像IT中新出现的害虫在之前所有帧图像In中的位置标记为(In,0,0),其中,n=1,…,T-1;
h、重复步骤c至步骤g,直至遍历完最后一帧图像。
所述的基于动态轨迹分析的农业害虫检测方法,所述步骤d中,采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度,选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框,具体包括以下步骤:
d1、将S中的各个目标框图像以及该害虫在上一帧图像IT-1中的目标框图像均缩小到8*8的尺寸;
d2、将步骤d1中缩小后的目标框图像转为64级灰度;
d3、计算每个目标框图像中总共64个像素的灰度平均值;
d4、将每个目标框图像中每个像素的灰度与相应的平均值进行比较,大于或等于平均值记为1,小于平均值记为0;
d5、对于每个目标框图像,将相应的比较结果组合在一起,构成一个64位的数组,将该数组作为相应目标框图像的哈希指纹;
d6、利用步骤d5得到的哈希指纹,逐一计算S中的各个目标框图像与该害虫在上一帧图像IT-1中的目标框图像的哈希相似度;
d7、选择S中具有最大哈希相似度的目标框作为该害虫在当前帧图像IT中的目标框。
本发明的有益效果为:
由上述技术方案可知,本发明通过分析害虫的掉落动态轨迹获得了害虫的动态信息,减少了害虫的误检率和漏检率,有效提高了害虫的检测精度和鲁棒性。
附图说明
图1是本发明的方法流程图;
图2是绘制的害虫的掉落动态轨迹示意图。
具体实施方式
下面结合附图和具体实施例进一步说明本发明。
如图1所示,一种基于动态轨迹分析的农业害虫检测方法,包括以下步骤:
S1、摄录一段害虫收集视频(如采用30帧/秒的高清摄像头),包含N帧图像,按照时间先后顺序标记这些图像为I1,I2,…,IN。
S2、采用足够数目的标记好的害虫图像训练深度学习目标检测器,然后采用经过训练的深度学习目标检测器定位每帧图像中的害虫,获取每帧图像中害虫的目标框信息其中,分别表示第t帧图像中第i条害虫的目标框的中心横坐标、中心纵坐标、高度和宽度,t=1,…,N,i=1,…,L,L为第t帧图像中害虫的数目。
S3、根据步骤S2所获取的害虫的目标框信息,标记害虫的掉落动态位置,即标记每帧图像中新出现的害虫以及上一帧图像中已标记害虫在当前帧图像中的位置,具体包括以下步骤:
S31、对于第一帧图像I1中的害虫,标记其位置为其中,分别表示第一帧图像I1中第i条害虫的目标框的中心横坐标和纵坐标。
S32、依次将第二至第N帧图像I2,…,IN作为当前帧图像IT进行遍历,T=2,…,N。
S33、对于上一帧图像IT-1中已标记的害虫,将其在上一帧图像IT-1中的目标框信息逐一与当前帧图像IT中所有害虫的目标框信息进行比较,从当前帧图像IT中找出同时满足限定条件|Δx|<u、0<Δy<v、|Δh|<e、|Δw|<e的目标框,组成目标框集合S,其中,Δx、Δy、Δh、Δw分别表示进行比较的两个目标框之间的中心横坐标差值、中心纵坐标差值、高度误差和宽度误差,u、v、e为误差阈值常数。
S34、如果与上一帧图像IT-1中已标记的某条害虫相应的S为非空,则采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度,选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框,并将该害虫在当前帧图像IT中的位置标记为其中,分别表示上一帧图像IT-1中已标记的第i条害虫在当前帧图像IT中的目标框的中心横坐标和纵坐标。
其中,采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度,选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框,具体包括以下步骤:
S341、将S中的各个目标框图像以及该害虫在上一帧图像IT-1中的目标框图像均缩小到8*8的尺寸;
S342、将步骤S341中缩小后的目标框图像转为64级灰度;
S343、计算每个目标框图像中总共64个像素的灰度平均值;
S344、将每个目标框图像中每个像素的灰度与相应的平均值进行比较,大于或等于平均值记为1,小于平均值记为0;
S345、对于每个目标框图像,将相应的比较结果组合在一起,构成一个64位的数组,将该数组作为相应目标框图像的哈希指纹;
S346、利用步骤S345得到的哈希指纹,逐一计算S中的各个目标框图像与该害虫在上一帧图像IT-1中的目标框图像的哈希相似度;
S347、选择S中具有最大哈希相似度的目标框作为该害虫在当前帧图像IT中的目标框。
S35、如果与上一帧图像IT-1中已标记的某条害虫相应的S为空,则判定该害虫在当前帧图像IT中消失,并将该害虫在后续所有帧图像IT+m中的位置标记为(IT+m,0,0),其中,m=0,…,N-T。
S36、从当前帧图像的所有目标框中,去除已被判定为上一帧图像IT-1中已标记的害虫在当前帧图像IT中的目标框,将剩下的且出现在当前帧图像IT的上四分之一部分(即P=0.25)的目标框作为当前帧图像IT中新出现的害虫的目标框。
S37、对于当前帧图像IT中新出现的害虫,标记其位置为其中,分别表示当前帧图像IT中新出现的第j条害虫的目标框的中心横坐标和纵坐标,j=1,…,K,K为当前帧图像IT中新出现的害虫的数目;同时,将当前帧图像IT中新出现的害虫在之前所有帧图像In中的位置标记为(In,0,0),其中,n=1,…,T-1。
S38、重复步骤S33至步骤S37,直至遍历完最后一帧图像。
S4、根据步骤S3所标记的害虫的掉落动态位置,确定同一害虫的掉落动态轨迹。
S5、绘制所有害虫的掉落动态轨迹 输出掉落动态轨迹数目C作为整个视频内检测的害虫总数目,Gc表示第c条害虫的掉落动态轨迹。
如图2所示,x、y为害虫的掉落动态轨迹坐标轴,t为视频中的第t帧图像,G1表示的是第一条害虫的掉落动态轨迹,Gk表示的是第k条害虫的掉落动态轨迹,GC表示的是最后一条害虫的掉落动态轨迹。
以上所述实施方式仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明的权利要求书确定的保护范围内。
Claims (3)
1.一种基于动态轨迹分析的农业害虫检测方法,其特征在于,该方法包括以下步骤:
(1)摄录一段由N帧图像构成的害虫收集视频,并按照时间先后顺序将所述N帧图像依次标记为I1,I2,…,IN;
(2)采用经过训练的深度学习目标检测器定位每帧图像中的害虫,获取每帧图像中害虫的目标框信息其中, 分别表示第t帧图像中第i条害虫的目标框的中心横坐标、中心纵坐标、高度和宽度,t=1,…,N,i=1,…,L,L为第t帧图像中害虫的数目;
(3)根据步骤(2)所获取的害虫的目标框信息,标记害虫的掉落动态位置;
(4)根据步骤(3)所标记的害虫的掉落动态位置,确定同一害虫的掉落动态轨迹;
(5)绘制所有害虫的掉落动态轨迹,输出掉落动态轨迹数目作为该段害虫收集视频内检测的害虫总数目。
2.根据权利要求1所述的基于动态轨迹分析的农业害虫检测方法,其特征在于,所述步骤(3)具体包括以下步骤:
a、对于第一帧图像I1中的害虫,标记其位置为其中,分别表示第一帧图像I1中第i条害虫的目标框的中心横坐标和纵坐标;
b、依次将第二至第N帧图像I2,…,IN作为当前帧图像IT进行遍历,T=2,…,N;
c、对于上一帧图像IT-1中已标记的害虫,将其在上一帧图像IT-1中的目标框信息逐一与当前帧图像IT中所有害虫的目标框信息进行比较,从当前帧图像IT中找出同时满足|Δx|<u、0<Δy<v、|Δh|<e、|Δw|<e四个条件的目标框,组成目标框集合S,其中,Δx、Δy、Δh、Δw分别表示进行比较的两个目标框之间的中心横坐标差值、中心纵坐标差值、高度误差和宽度误差,u、v、e为误差阈值常数;
d、如果与上一帧图像IT-1中已标记的某条害虫相应的S为非空,则采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度,选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框,并将该害虫在当前帧图像IT中的位置标记为其中,分别表示上一帧图像IT-1中已标记的第i条害虫在当前帧图像IT中的目标框的中心横坐标和纵坐标;
e、如果与上一帧图像IT-1中已标记的某条害虫相应的S为空,则判定该害虫在当前帧图像IT中消失,并将该害虫在后续所有帧图像IT+m中的位置标记为(IT+m,0,0),其中,m=0,…,N-T;
f、去除已被判定为上一帧图像IT-1中已标记的害虫在当前帧图像IT中的目标框,将剩下的且出现在当前帧图像IT的上四分之一部分的目标框作为当前帧图像IT中新出现的害虫的目标框;
g、对于当前帧图像IT中新出现的害虫,标记其位置为其中,分别表示当前帧图像IT中新出现的第j条害虫的目标框的中心横坐标和纵坐标,j=1,…,K,K为当前帧图像IT中新出现的害虫的数目;同时,将当前帧图像IT中新出现的害虫在之前所有帧图像In中的位置标记为(In,0,0),其中,n=1,…,T-1;
h、重复步骤c至步骤g,直至遍历完最后一帧图像。
3.根据权利要求2所述的基于动态轨迹分析的农业害虫检测方法,其特征在于,所述步骤d中,采用感知哈希算法逐一计算S中的各个目标框与该害虫在上一帧图像IT-1中的目标框的相似度,选择S中具有最大相似度的目标框作为该害虫在当前帧图像IT中的目标框,具体包括以下步骤:
d1、将S中的各个目标框图像以及该害虫在上一帧图像IT-1中的目标框图像均缩小到8*8的尺寸;
d2、将步骤d1中缩小后的目标框图像转为64级灰度;
d3、计算每个目标框图像中总共64个像素的灰度平均值;
d4、将每个目标框图像中每个像素的灰度与相应的平均值进行比较,大于或等于平均值记为1,小于平均值记为0;
d5、对于每个目标框图像,将相应的比较结果组合在一起,构成一个64位的数组,将该数组作为相应目标框图像的哈希指纹;
d6、利用步骤d5得到的哈希指纹,逐一计算S中的各个目标框图像与该害虫在上一帧图像IT-1中的目标框图像的哈希相似度;
d7、选择S中具有最大哈希相似度的目标框作为该害虫在当前帧图像IT中的目标框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811588092.4A CN109726665B (zh) | 2018-12-25 | 2018-12-25 | 一种基于动态轨迹分析的农业害虫检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811588092.4A CN109726665B (zh) | 2018-12-25 | 2018-12-25 | 一种基于动态轨迹分析的农业害虫检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109726665A true CN109726665A (zh) | 2019-05-07 |
CN109726665B CN109726665B (zh) | 2022-10-25 |
Family
ID=66297724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811588092.4A Active CN109726665B (zh) | 2018-12-25 | 2018-12-25 | 一种基于动态轨迹分析的农业害虫检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109726665B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110782476A (zh) * | 2019-11-06 | 2020-02-11 | 杭州益昊农业科技有限公司 | 一种昆虫运动轨迹的测定方法及其测定装置 |
CN112800929A (zh) * | 2021-01-25 | 2021-05-14 | 安徽农业大学 | 一种基于深度学习的竹笋数量与高生长率的在线监测方法 |
CN113361429A (zh) * | 2021-06-11 | 2021-09-07 | 长江大学 | 一种储粮害虫的运动行为分析方法与实验装置 |
CN114544869A (zh) * | 2022-01-27 | 2022-05-27 | 北京良安科技有限公司 | 一种气体及虫害检测系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015161697A1 (zh) * | 2014-04-25 | 2015-10-29 | 深港产学研基地 | 应用于人机交互的运动物体跟踪方法及系统 |
CN108021848A (zh) * | 2016-11-03 | 2018-05-11 | 浙江宇视科技有限公司 | 客流量统计方法及装置 |
-
2018
- 2018-12-25 CN CN201811588092.4A patent/CN109726665B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015161697A1 (zh) * | 2014-04-25 | 2015-10-29 | 深港产学研基地 | 应用于人机交互的运动物体跟踪方法及系统 |
CN108021848A (zh) * | 2016-11-03 | 2018-05-11 | 浙江宇视科技有限公司 | 客流量统计方法及装置 |
Non-Patent Citations (1)
Title |
---|
肖德琴等: "基于视觉感知的蔬菜害虫诱捕计数算法", 《农业机械学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110782476A (zh) * | 2019-11-06 | 2020-02-11 | 杭州益昊农业科技有限公司 | 一种昆虫运动轨迹的测定方法及其测定装置 |
CN112800929A (zh) * | 2021-01-25 | 2021-05-14 | 安徽农业大学 | 一种基于深度学习的竹笋数量与高生长率的在线监测方法 |
CN113361429A (zh) * | 2021-06-11 | 2021-09-07 | 长江大学 | 一种储粮害虫的运动行为分析方法与实验装置 |
CN113361429B (zh) * | 2021-06-11 | 2022-11-04 | 长江大学 | 一种储粮害虫的运动行为分析方法与实验装置 |
CN114544869A (zh) * | 2022-01-27 | 2022-05-27 | 北京良安科技有限公司 | 一种气体及虫害检测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109726665B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109726665A (zh) | 一种基于动态轨迹分析的农业害虫检测方法 | |
CN109785337B (zh) | 一种基于实例分割算法的栏内哺乳动物清点方法 | |
CN110427922A (zh) | 一种基于机器视觉和卷积神经网络病虫害识别系统和方法 | |
CN111462058B (zh) | 一种水稻有效穗快速检测方法 | |
CN108229352B (zh) | 一种基于深度学习的站立检测方法 | |
CN109635634A (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
WO2023155482A1 (zh) | 一种人群快速聚集行为的识别方法、系统、设备及介质 | |
CN111476119B (zh) | 一种基于时空上下文的昆虫行为识别方法及装置 | |
CN111310756A (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
CN107679469A (zh) | 一种基于深度学习的非极大值抑制方法 | |
CN109948725A (zh) | 基于地址-事件表达的神经网络目标检测装置 | |
CN110533100A (zh) | 一种基于机器学习进行cme检测和跟踪的方法 | |
CN114462646B (zh) | 一种基于接触网安全巡检的杆号牌识别方法及系统 | |
CN112067616A (zh) | 一种谷物品质实时检测装置及方法 | |
CN113822198B (zh) | 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质 | |
CN105631410A (zh) | 一种基于智能视频处理技术的课堂检测方法 | |
CN108491796A (zh) | 一种时域周期点目标检测方法 | |
CN116912265A (zh) | 一种遥感图像分割方法和系统 | |
CN110705698A (zh) | 尺度自适应感知的目标计数深度网络设计方法 | |
CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
CN212255107U (zh) | 一种谷物品质实时检测装置 | |
CN114266975A (zh) | 无人机遥感图像的荔枝果实检测与计数方法 | |
CN112001290B (zh) | 一种基于yolo算法的稻飞虱迁飞路径预测方法 | |
CN114550069A (zh) | 一种基于深度学习的仔猪乳头计数方法 | |
CN110175531B (zh) | 一种基于姿态的考生位置定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |