CN112101455B - 一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法 - Google Patents
一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法 Download PDFInfo
- Publication number
- CN112101455B CN112101455B CN202010967815.2A CN202010967815A CN112101455B CN 112101455 B CN112101455 B CN 112101455B CN 202010967815 A CN202010967815 A CN 202010967815A CN 112101455 B CN112101455 B CN 112101455B
- Authority
- CN
- China
- Prior art keywords
- layer
- tea lesser
- tea
- leafhoppers
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Abstract
本发明提供了一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,该方法通过以VGG16网络结构作为主干网络进行含黄板的茶小绿叶蝉的特征提取、并选取浅层特征进行回归运算,同时将主干网络的丰富语义信息的深层特征通过上采样加卷积层组合的方式逐层叠加到浅层特征上,从而丰富了浅层特征的语义信息、避免茶小绿叶蝉的图像信息丢失,进而完成了对茶小绿叶蝉的自动识别、位置回归和自动计算;该方法对茶小绿叶蝉的识别在1%漏检情况下,精度可以达到98%;同时对于高清图片、如1080P数据的处理速度达到ms级,能够快速、精确的进行茶小绿叶蝉的识别和计算,能广泛适用于茶树、果树等茶小绿叶蝉的防治。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法。
背景技术
茶小绿叶蝉,成虫体长3~4mm、体宽1mm,淡黄绿至绿色,复眼灰褐至深褐色,无单眼,触角刚毛状,末端黑色;若虫体长2.5~3.5mm,与成虫相似。茶小绿叶蝉成、若虫以刺吸茶树叶片汁液为主,并在作物叶背上栖息,且成虫取食后交尾产卵、卵多产在嫩梢皮下;同时,茶小绿叶蝉年发生9~17代,世代重叠。因此,茶小绿叶蝉是我国各茶区分布最广、危害严重,影响茶叶产量和品质的重点防治害虫之一,在我国长江中下游茶区,正常年份夏、秋茶损失在10%~15%左右,而重灾年份茶叶损失高达50%以上。
我国茶园病虫害防治中,首要任务之一便是对茶小绿叶蝉的防治;但要对茶小绿叶蝉采取防治措施,需要对茶园中茶小绿叶蝉的发生数量、发生趋势进行监测。现有技术中,常采用人工方法进行茶小绿叶蝉的监测,即晴天晨露未干时或阴天全天调查,随机调查100张嫩叶(30个芽梢)上的虫口数;但是此方法对人工的专业知识、判断经验(茶小绿叶蝉活动敏捷活泼、善爬跳)以及视力程度(茶小绿叶蝉成虫的体长较短、若虫体长更短)要求较高,且需要人工长时间进行筛选、鉴别、计数,费时费力,同时,该方法的准确率较低、在60~80%之间,每次鉴别的波动范围大、误差大,无法准确、快速、有效的完成茶小绿叶蝉的识别、计数,从而高效、合理的采取防治措施。
发明内容
针对以上现有技术存在的问题,本发明的目的在于提供一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,该方法有效避免人工进行长时间筛选、鉴别和计数,从而省时省力、节省人工成本;同时,该方法能高效的完成茶小绿叶蝉的识别、计数,判断准确率高。
本发明的目的通过以下技术方案实现:
一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,其特征在于:
包括以下步骤:
a、首先采取标准的VGG16网络结构作为主干网络、对含有黄板全部轮廓的图像样本进行特征提取,同时选取图像样本的浅层特征进行回归运算;
b、将主干网络每层中含有丰富语义信息的深层特征通过上采样加卷积层组合的方式逐层叠加到浅层特征上,用于丰富浅层特征的语义信息;
c、主干网络的每层深层特征再与对应的每层叠加后的浅层特征进行融合,作为神经网络的输出层,在神经网络的输出层上完成对茶小绿叶蝉的回归识别;在回归识别过程中,完成不同位置茶小绿叶蝉的识别以及同一层输出层上同一位置茶小绿叶蝉的去重处理;同时,根据对茶小绿叶蝉的识别和回归运算结果(回归运算结果包含识别到的茶小绿叶蝉的位置信息),结合划定的黄板范围,完成对不同输出层上相同位置茶小绿叶蝉重复识别的去重处理,最后进行黄板上茶小绿叶蝉的数量计算。
上述网络的训练方法采用通用的识别模型迭代训练方式,训练集采用在不同数据上框选目标的人工标注方式得到。
由于茶小绿叶蝉的体长较短、在包含黄板的整个图像上显示范围极小,若直接通过深度神经网络进行更深层次的语义信息的获取,虽然能提高识别性能以及识别精度,但是较深层网络输出特征可能直接忽略掉茶小绿叶蝉的信息,从而导致检测失败;若直接采用浅层神经网络对茶小绿叶蝉进行识别,由于高层语义信息的缺乏,导致检测精度极低。同时,不同拍摄距离会导致茶小绿叶蝉像素大小不同,从而导致网络识别网络特征层的选取具有不确定性:网络层太深,丢失茶小绿叶蝉信息;网络层太浅,语义信息和感受也不够大;进而进一步降低检测精度。
本发明通过以VGG16网络结构作为主干网络对含黄板的茶小绿叶蝉的特征进行提取、并且选取浅层特征进行回归运算,将主干网络的丰富语义信息的深层特征通过上采样加卷积层组合的方式逐层叠加到浅层特征上,从而丰富了浅层特征的语义信息、同时避免茶小绿叶蝉的图像信息丢失,进而高效、准确的完成茶小绿叶蝉的识别和计算。
作进一步优化,所述步骤a中对含有黄板全部轮廓的图像样本为采用高清摄像头拍摄或手机拍摄中的任一种方式获得的图像帧,通过预处理、训练转化为深度学习框架直接读取的格式。
作进一步优化,为削弱相机成像像素和拍摄距离的远近随机性的影响,所述步骤a中采用模板匹配的方式估算大小、从而选择主干网络中最佳的特征层作为浅层网络的输入层。
作进一步优化,所述模板匹配的方式具体为:
首先在黄板的四个角和中心位置均绘制一个边长为h、单位为cm的正方形框,并在图像的原图中采用矩形框进行模板匹配运算,分别定为黄板的四个顶角和中心;
然后同时计算四个顶角和中心匹配中的矩形框所包含的像素点的个数,分别即为n1、n2、n3、n4与n0,再分别估算茶小绿叶蝉在图像原图中的成像像素点个数,具体公式为:
式中,k为茶小绿叶蝉体长、单位为毫米;1的单位为毫米;h表示绘制的正方形框的边长、单位为厘米;
通过四个顶角和一个中心将矩形黄板分为四个三角形区域,然后计算每个区域内平均茶小绿叶蝉所占的像素大小,具体公式为:
最后根据每个区域的茶小绿叶蝉所占像素大小,选择用于识别的茶小绿叶蝉的最佳特征层,具体公式为:
作进一步优化,所述步骤a中进行回归运算时,采用设定的anchor的比例为1:h或h:1;其中,h为茶小绿叶蝉的体长。
作进一步优化,所述步骤b中上采样采用对应位置直接赋值、填充位置为零的方式,即若采样宽为N、高为M的数据,分别上采样A、B倍,则得到宽为NA、高为MB的数据;其中为原图中(N,M)的对应位置,排除所有原图中点的对应位置后的其余点均为填充位置。
作进一步优化,所述步骤c中判断是否为同一位置的重复识别采用同一位置两个识别框交集区域与并集区域比例与门限值比较的方式。
作进一步优化,所述步骤c中黄板范围的划定根据黄板四个顶角上矩形框的匹配结果或图像分割的方式(如黄板颜色与背景差别大等)进行确定。
本发明具有如下技术效果:
本发明提供了一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,该方法通过以VGG16网络结构作为主干网络进行含黄板的茶小绿叶蝉的特征提取、选取浅层特征进行回归运算,并且将主干网络的丰富语义信息的深层特征通过上采样加卷积层组合的方式逐层叠加到浅层特征上,从而丰富了浅层特征的语义信息、避免茶小绿叶蝉的图像信息丢失,进而完成了对茶小绿叶蝉的自动识别、位置回归和自动计算;该方法对茶小绿叶蝉的识别在1%漏检情况下,精度可以达到98%;同时对于高清图片、如1080P数据的处理速度达到ms级,能够快速、精确的进行茶小绿叶蝉的识别和计算,能广泛适用于茶树、果树等小绿叶蝉的防治。
附图说明
图1为本发明实施例中主干网络结构的框图。
图2为本发明实施例中卷积神经网络的总框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
如图1~2所示,一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,其特征在于:
包括以下步骤:
a、首先采取标准的VGG16网络结构作为主干网络、对含有黄板全部轮廓的图像样本进行特征提取,同时选取图像样本的浅层特征进行回归运算;
具体为:对含有黄板全部轮廓的图像样本为采用高清摄像头拍摄或手机拍摄中的任一种方式获得的图像帧,通过预处理、训练转化为深度学习框架直接读取的格式,然后进行特征提取;
为削弱相机成像像素和拍摄距离的远近随机性的影响,采用模板匹配的方式估算大小、从而选择主干网络中最佳的特征层作为浅层网络的输入层,具体步骤为:
首先在黄板的四个角和中心位置均绘制一个边长为h(如1cm)正方形框,并在图像的原图中采用矩形框进行模板匹配运算,分别定为黄板的四个顶角和中心;
然后同时计算四个顶角和中心匹配中的矩形框所包含的像素点的个数,分别即为n1、n2、n3、n4与n0,再分别估算茶小绿叶蝉在图像原图中的成像像素点个数,具体公式为:
式中,k为茶小绿叶蝉体长、单位为毫米,例如采用体长3.5mm的茶小绿叶蝉;
则上述反应式为:
通过四个顶角和一个中心将矩形黄板分为四个三角形区域,然后计算每个区域内平均茶小绿叶蝉所占的像素大小,具体公式为:
最后根据每个区域的茶小绿叶蝉所占像素大小,选择用于识别的茶小绿叶蝉的最佳特征层,具体公式为:
进行回归运算时,采用设定的anchor的比例为1:3.5或3.5:1。
b、将主干网络每层中含有丰富语义信息的深层特征通过上采样加卷积层组合的方式逐层叠加到浅层特征上,用于丰富浅层特征的语义信息(如图2所示);上采样采用对应位置直接赋值、填充位置为零的方式。
c、主干网络的每层深层特征再与对应的每层叠加后的浅层特征进行融合,作为神经网络的输出层(例如在图2中,输出层为第0层特征、第1层特征、第2层特征、第3层特征、第4层特征、第5层特征),从而输出每层结果、完成对茶小绿叶蝉的回归识别;在回归识别中,完成不同位置茶小绿叶蝉的识别以及同一层输出层上同一位置茶小绿叶蝉的去重处理(关于判断是否为同一位置的重复识别采用同一位置两个识别框交集区域与并集区域比例与门限值比较的方式);同时,根据对茶小绿叶蝉的识别和回归运算结果(回归运算结果包含识别到的茶小绿叶蝉的位置信息),结合划定的黄板范围(可以通过图像分割的方式,如黄板颜色与背景差别大;也可以根据黄板四个顶角上矩形框的匹配结果进行黄板范围的划定),从而完成不同输出层上相同位置茶小绿叶蝉重复识别的去重处理,最后进行黄板上茶小绿叶蝉的数量计算。
上述网络的训练方法可用通用的识别模型迭代训练方式,训练集采用在不同数据上框选目标的人工标注方式得到。
该方法对茶小绿叶蝉的识别在1%漏检情况下,精度可以达到98%;同时对于高清图片、如1080P数据的处理速度达到ms级,能够快速、精确的进行茶小绿叶蝉的识别和计算,能广泛适用于茶树、果树等领域的小绿叶蝉的防治。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,其特征在于:
包括以下步骤:
a、首先采取标准的VGG16网络结构作为主干网络、对含有黄板全部轮廓的图像样本进行特征提取,同时选取图像样本的浅层特征进行回归运算;
b、将主干网络每层中含有丰富语义信息的深层特征通过上采样加卷积层组合的方式逐层叠加到浅层特征上,用于丰富浅层特征的语义信息;
c、主干网络的每层深层特征再与对应的每层叠加后的浅层特征进行融合,作为神经网络的输出层,在神经网络的输出层上完成对茶小绿叶蝉的回归识别;在回归识别过程中,完成不同位置茶小绿叶蝉的识别以及同一层输出层上同一位置茶小绿叶蝉的去重处理;同时,根据对茶小绿叶蝉的识别和回归运算结果,结合划定的黄板范围,完成对不同输出层上相同位置茶小绿叶蝉重复识别的去重处理,最后进行黄板上茶小绿叶蝉的数量计算;
上述网络的训练方法采用通用的识别模型迭代训练方式,训练集采用在不同数据上框选目标的人工标注方式得到;
所述步骤a中采用模板匹配的方式估算大小、从而选择主干网络中最佳的特征层作为浅层网络的输入层;
所述模板匹配的方式具体为:
首先在黄板的四个角和中心位置均绘制一个边长为h、单位为cm的正方形框,并在图像的原图中采用矩形框进行模板匹配运算,分别定为黄板的四个顶角和中心;
然后同时计算四个顶角和中心匹配中的矩形框所包含的像素点的个数,分别即为n1、n2、n3、n4与n0,再分别估算茶小绿叶蝉在图像原图中的成像像素点个数,具体公式为:
式中,k为茶小绿叶蝉体长、单位为毫米;1的单位为毫米;h表示绘制的正方形框的边长、单位为厘米;
通过四个顶角和一个中心将矩形黄板分为四个三角形区域,然后计算每个区域内平均茶小绿叶蝉所占的像素大小,具体公式为:
最后根据每个区域的茶小绿叶蝉所占像素大小,选择用于识别的茶小绿叶蝉的最佳特征层,具体公式为:
2.根据权利要求1所述的一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,其特征在于:所述步骤a中对含有黄板全部轮廓的图像样本为采用高清摄像头拍摄或手机拍摄中的任一种方式获得的图像帧,通过预处理、训练转化为深度学习框架直接读取的格式。
3.根据权利要求1所述的一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法,其特征在于:所述步骤a中进行回归运算时,采用设定的anchor的比例为1:h或h:1;其中,h为茶小绿叶蝉的体长。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010967815.2A CN112101455B (zh) | 2020-09-15 | 2020-09-15 | 一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法 |
CN202211126212.5A CN115661491A (zh) | 2020-09-15 | 2020-09-15 | 一种茶树种植中虫害防治的监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010967815.2A CN112101455B (zh) | 2020-09-15 | 2020-09-15 | 一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211126212.5A Division CN115661491A (zh) | 2020-09-15 | 2020-09-15 | 一种茶树种植中虫害防治的监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112101455A CN112101455A (zh) | 2020-12-18 |
CN112101455B true CN112101455B (zh) | 2022-08-09 |
Family
ID=73759106
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211126212.5A Pending CN115661491A (zh) | 2020-09-15 | 2020-09-15 | 一种茶树种植中虫害防治的监测方法 |
CN202010967815.2A Active CN112101455B (zh) | 2020-09-15 | 2020-09-15 | 一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211126212.5A Pending CN115661491A (zh) | 2020-09-15 | 2020-09-15 | 一种茶树种植中虫害防治的监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN115661491A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815867A (zh) * | 2019-01-14 | 2019-05-28 | 东华大学 | 一种人群密度估计和人流量统计方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
CN110781744A (zh) * | 2019-09-23 | 2020-02-11 | 杭州电子科技大学 | 一种基于多层次特征融合的小尺度行人检测方法 |
WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
-
2020
- 2020-09-15 CN CN202211126212.5A patent/CN115661491A/zh active Pending
- 2020-09-15 CN CN202010967815.2A patent/CN112101455B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
CN109815867A (zh) * | 2019-01-14 | 2019-05-28 | 东华大学 | 一种人群密度估计和人流量统计方法 |
CN110781744A (zh) * | 2019-09-23 | 2020-02-11 | 杭州电子科技大学 | 一种基于多层次特征融合的小尺度行人检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112101455A (zh) | 2020-12-18 |
CN115661491A (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110544251B (zh) | 基于多迁移学习模型融合的大坝裂缝检测方法 | |
CN110517246B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
KR102449841B1 (ko) | 타겟의 검측 방법 및 장치 | |
CN109448001B (zh) | 一种图片自动裁剪方法 | |
CN109344701A (zh) | 一种基于Kinect的动态手势识别方法 | |
CN110479636B (zh) | 基于神经网络自动分拣烟叶的方法及装置 | |
CN111178120B (zh) | 一种基于作物识别级联技术的害虫图像检测方法 | |
CN108388905B (zh) | 一种基于卷积神经网络和邻域上下文的光源估计方法 | |
CN109543630A (zh) | 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备 | |
CN106503695A (zh) | 一种基于航拍图像的烟草植株识别与计数方法 | |
CN112418124A (zh) | 基于视频图像的鱼类智能监测方法 | |
CN102110294A (zh) | 病鱼的鱼体图像处理方法及系统 | |
CN106991428A (zh) | 基于自适应池化模型的害虫图像识别方法 | |
CN109753996A (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
CN110503140A (zh) | 基于深度迁移学习与邻域降噪的分类方法 | |
CN110674884A (zh) | 一种基于特征融合的图像识别方法 | |
CN110874835B (zh) | 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质 | |
CN109086823A (zh) | 一种小麦赤霉病病穗率自动统计方法 | |
CN112861666A (zh) | 一种基于深度学习的鸡群计数方法及应用 | |
CN107103608A (zh) | 一种基于区域候选样本选择的显著性检测方法 | |
CN106651811A (zh) | 一种亮度通道引导的简单镜头成像模糊去除方法 | |
CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
CN113610035B (zh) | 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法 | |
CN112101455B (zh) | 一种基于卷积神经网络的茶小绿叶蝉识别和计数的方法 | |
CN102938052A (zh) | 一种基于计算机视觉的甘蔗分割与识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |