CN111476238B - 一种基于区域尺度感知技术的害虫图像检测方法 - Google Patents
一种基于区域尺度感知技术的害虫图像检测方法 Download PDFInfo
- Publication number
- CN111476238B CN111476238B CN202010352776.5A CN202010352776A CN111476238B CN 111476238 B CN111476238 B CN 111476238B CN 202010352776 A CN202010352776 A CN 202010352776A CN 111476238 B CN111476238 B CN 111476238B
- Authority
- CN
- China
- Prior art keywords
- pest
- scale
- network
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于区域尺度感知技术的害虫图像检测方法,与现有技术相比解决了中小尺寸害虫目标难以准确检测的缺陷。本发明包括以下步骤:获取害虫图像数据集并进行预处理;害虫图像候选区域的提取;构建尺度感知害虫检测网络;尺度感知害虫检测网络的训练;待检测害虫图像的获取;待检测害虫图像候选区域的提取;害虫图像检测结果的获得。本发明通过感知害虫区域的位置,使基于卷积神经网络的害虫检测框架能够受到害虫区域尺寸大小的指导,从而自动地在多尺度害虫图像特征图中有效地学习所需要的害虫局部特征并针对性的实现特征融合,使得表达能力更强的害虫局部特征发挥的作用更大,由此提高了害虫识别与检测的准确率。
Description
技术领域
本发明涉及农保图像处理技术领域,具体来说是一种基于区域尺度感知技术的害虫图像检测方法。
背景技术
害虫是农作物生长中的大敌,在农作物整个生长期内都有发生,可造成农作物大量减产。由于害虫种类繁多,每一位植保专家只能识别部分害虫。
当今在模式识别领域,基于深度学习理论的图像识别与检测方法成为众多学者研究的热点,在人脸识别、目标检测领域被广泛应用,并取得了较好的效果。然而,目前的深度学习理论应用在害虫图像自动检测与识别的方法中会出现识别效果差、检测精度低的问题,这是由于害虫目标在图像中尺寸较小、局部特征不易提取所导致的。对于小尺寸害虫目标,目前的方法仅考虑特征金字塔中的低层特征图作为其局部特征而忽略了高层语义信息,使得害虫目标虽然具有良好的定位效果但分类准确率不佳。另一方面,同时考虑低层和高层特征图信息的单纯叠加又会使害虫局部特征混乱缺乏针对性。
因此,现有方法在提取害虫目标局部特征时表达力欠佳的困难,在如今的智慧农业应用中已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中小尺寸害虫目标难以准确检测的缺陷,提供一种基于区域尺度感知技术的害虫图像检测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于区域尺度感知技术的害虫图像检测方法,包括以下步骤:
获取害虫图像数据集并进行预处理:获取害虫图像数据集,并对害虫图像数据集的图像进行归一化处理;
害虫图像候选区域的提取:利用候选区域提取方法提取害虫图像候选区域,所述的候选区域提取方法为先利用卷积神经网络提取害虫特征,再通过特征金字塔网络抽取多尺度特征,最后利用区域候选网络生成害虫图像候选区域;
构建尺度感知害虫检测网络:构建尺度感知害虫检测网络用于提取害虫图像候选区域的局部特征,所述的尺度感知害虫检测网络方法以害虫候选区域为输入、每个害虫候选区域的检测结果为输出,第一层为利用RoI池化层抽取多尺度局部特征,第二层为可训练的特征加权门函数,第三层为害虫局部特征融合层,最后一层利用精修网络进行分类与回归;
尺度感知害虫检测网络的训练:对尺度感知害虫检测网络进行训练;
待检测害虫图像的获取:获取待检测的害虫图像;
待检测害虫图像候选区域的提取:利用候选区域提取方法提取待检测害虫图像的害虫图像候选区域;
害虫图像检测结果的获得:将待检测害虫图像的害虫图像候选区域输入训练后的尺度感知害虫检测网络,得到害虫图像检测结果。
所述害虫图像候选区域的提取包括以下步骤:
将害虫图像数据集的图像输入卷积神经网络进行处理,得到害虫图像的特征图;
再将害虫图像的特征图输入特征金字塔网络,从中抽取不同尺度大小的多尺寸害虫特征图;
最后将不同尺度大小的多尺寸害虫特征图输入区域候选网络,生成害虫图像候选区域。
所述构建尺度感知害虫检测网络包括以下步骤:
设定尺度感知害虫检测网络的输入为害虫图像候选区域、输出为害虫图像检测结果;
设定尺度感知害虫检测网络的第一层为通过RoI池化的方法抽取害虫目标的多尺度局部特征:根据每个害虫候选区域的位置和大小,在多尺度害虫特征图中抽取对应的多尺度害虫目标局部特征;
设定尺度感知害虫检测网络的第二层为通过特征加权门函数计算特征权重:根据每个害虫候选区域的尺寸,通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重;
设定尺度感知害虫检测网络的第三层为多尺度害虫目标局部特征融合:该特征加权门函数所计算的权重对多尺度害虫局部特征进行融合;
设定尺度感知害虫检测网络的第四层为害虫区域分类与精修:基于融合的害虫局部特征,通过精修网络对该害虫区域分类并精修害虫位置。
所述尺度感知害虫检测网络的训练包括以下步骤:
通过尺度感知害虫检测网络计算特征权重:根据每个害虫候选区域的尺寸,通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重;
进行局部特征融合:将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征,并通过特征权重融合各尺度特征,输出融合后的害虫区域局部特征;
精修网络分类与回归候选框:将融合后的害虫区域局部特征输入精修网络,对该害虫区域分类并回归边界框的值。
所述的通过尺度感知害虫检测网络计算特征权重包括以下步骤:
将害虫候选区域的尺寸输入到标记函数中判断该候选区域大小;其具体步骤如下:
输入害虫候选区域尺寸表示为其宽w和高h,将w和h输入到标记函数sign*(h,w)中;
该标记函数sign*(h,w)定义为:
其中w0和h0为标记函数的超参数,定义为判断该害虫候选区域是否为小目标的标准,在这里w0和h0分别取害虫图像训练集Xi=[x1,x2,…xn]所有标注目标宽wn和高hn的均值和当输入害虫区域尺寸(w,h)中w-w0<0且h-h0<0,当区域被定义为小目标害虫区域,其他情况下视为大目标害虫区域;
计算每个害虫候选区域的标记函数输出sign*(h,w)以表示该区域是否为小目标;
将害虫候选区域的尺寸和标记函数结果输入到特征加权门函数中计算所需特征各尺度的权重;其具体步骤如下:
输入候选区域尺寸表示为其宽w和高h,引入2个可训练参数α=(α1,α2,...,αk)和β=(β1,β2,...,βk),其中k表示特征金字塔网络抽取的多尺度害虫特征图个数;
定义特征加权门函数λi(si,h,w)计算λ=(λ1,λ2,...,λk):
其中输出λi为第i个尺度的害虫特征图所需的权重,si为第i个尺度的害虫特征图相比于原图的缩放步长,zi由步长si,宽w,高h和标记函数输出sign*(h,w)共同计算得到:
参数α和β的训练过程:
训练前对α和β进行初始化,分别使用常数初始化为1.0和10.0,根据反向传播的链式求导公式,由于αi会参加k个局部特征图中每一个权重λj的计算,因此αi的梯度来自于各个尺度层j的权重λj,分两种情况讨论,当i=j时,λj对αi的梯度为:
当i≠j时,λj对αi的梯度为:
因此,损失函数对αi的总梯度为:
通过神经网络的反向传播算法,训练αi:
其中η为学习率;
计算βi的总梯度:
其中当i=j时,λj对βi的梯度为:
当i≠j时,λj对βi的梯度为:
通过神经网络的反向传播算法,训练βi:
所述的将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征包括以下步骤:
输入害虫候选区域表示为其左上角点坐标(x,y)以及宽w高h,对每一个尺度下的害虫特征图Mi扣取出相应位置的害虫局部特征Fi,害虫特征图Mi大小为(W,H,C)分别代表特征图宽高和通道数;
害虫局部特征Fi抠取过程表示为:
其中si为尺度i下特征图Mi相比于原图的缩放步长;
为了方便多尺度特征融合,将不同尺度下抠取的害虫局部特征F=(F1,F2,...,Fk)统一池化到p×p大小,池化过程表示将害虫局部特征Fi分割成p×p的块,对每一块中的像素做均值池化,得到统一大小的多尺度局部特征F′=(F1′,F2′,...,F′k)。
所述的通过特征权重融合各尺度特征包括以下步骤:
对于输入害虫候选区域,获得其在每个尺度的权重λ=(λ1,λ2,...,λk)以及统一的多尺度局部特征F′=(F1′,F′2,...,F′k);
所述的特征金字塔网络为FPN网络,区域候选网络为RPN网络,精修网络为R-CNN网络。
有益效果
本发明的一种基于区域尺度感知技术的害虫图像检测方法,与现有技术相比通过感知害虫区域的位置,使基于卷积神经网络的害虫检测框架能够受到害虫区域尺寸大小的指导,从而自动地在多尺度害虫图像特征图中有效地学习所需要的害虫局部特征并针对性的实现特征融合,使得表达能力更强的害虫局部特征发挥的作用更大,由此提高了害虫识别与检测的准确率。
本发明提出引导性的可学习局部特征融合方法使神经网络能够自主地学习各层所需特征权重,达到优化任务的目的。在实际应用场景中,通过学习各层害虫局部特征的融合,能够对害虫目标有效的定位与分类,在实验中验证了使用该方法下的害虫检测系统能够达到实际应用水平。另一方面,通过分析尺度感知害虫检测网络的权重学习,小目标害虫对于低层局部特征并不具备强大的依赖性,反而对高层语义信息有着更大的需求,这也佐证了现有方法中单层局部特征提取方式的局限性。因此,有效地学习特征权重对于害虫检测与识别任务具有重要意义。
附图说明
图1为本发明的方法顺序图;
图2为利用现有的FPN进行小麦麦蜘蛛检测的效果图;
图3为利用本发明所述方法进行小麦麦蜘蛛检测的效果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于区域尺度感知技术的害虫图像检测方法,包括以下步骤:
第一步,获取害虫图像数据集并进行预处理:获取害虫图像数据集,并对害虫图像数据集的图像进行传统的归一化处理。
第二步,害虫图像候选区域的提取:利用候选区域提取方法提取害虫图像候选区域。候选区域提取方法可使用传统方法实现,在此候选区域提取方法可以先利用卷积神经网络提取害虫特征,再通过特征金字塔网络抽取多尺度特征,最后利用区域候选网络生成害虫图像候选区域。其中,特征金字塔网络可以为FPN网络,区域候选网络可以为RPN网络。其具体步骤如下:
(1)将害虫图像数据集的图像输入卷积神经网络进行处理,得到害虫图像的特征图;
(2)再将害虫图像的特征图输入特征金字塔网络,从中抽取不同尺度大小的多尺寸害虫特征图;
(3)最后将不同尺度大小的多尺寸害虫特征图输入区域候选网络,生成害虫图像候选区域。
第三步,构建尺度感知害虫检测网络。由于实际场景中害虫目标尺寸较小,仅采取单层局部特征提取存在语义信息不足等缺陷,因此本发明提出尺度感知的方式学习各层特征权重并对局部特征有效融合,达到精确检测的目的。
构建尺度感知害虫检测网络用于提取害虫图像候选区域的局部特征,尺度感知害虫检测网络方法以害虫候选区域为输入、每个害虫候选区域的检测结果为输出,第一层为利用RoI池化层抽取多尺度局部特征,第二层为可训练的特征加权门函数,第三层为害虫局部特征融合层,最后一层利用精修网络进行分类与回归。其具体步骤如下:
(1)设定尺度感知害虫检测网络的输入为害虫图像候选区域、输出为害虫图像检测结果;
(2)设定尺度感知害虫检测网络的第一层为通过RoI池化的方法抽取害虫目标的多尺度局部特征:根据每个害虫候选区域的位置和大小,在多尺度害虫特征图中抽取对应的多尺度害虫目标局部特征;
(3)设定尺度感知害虫检测网络的第二层为通过特征加权门函数计算特征权重:根据每个害虫候选区域的尺寸,通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重;
(4)设定尺度感知害虫检测网络的第三层为多尺度害虫目标局部特征融合:该特征加权门函数所计算的权重对多尺度害虫局部特征进行融合;
(5)设定尺度感知害虫检测网络的第四层为害虫区域分类与精修:基于融合的害虫局部特征,通过精修网络对该害虫区域分类并精修害虫位置,其中,精修网络可以为R-CNN网络。
第四步,尺度感知害虫检测网络的训练:对尺度感知害虫检测网络进行训练。在此训练时考虑:以害虫候选框的尺寸为输入,为每一个候选区域根据其尺寸计算在各层的特征权重,最后融合并使用反向传播计算梯度训练。同时在此,设计特征加权门函数根据输入候选框尺寸计算权重,该函数设计遵循两个原则:1、对于小尺寸害虫,应当更多地提取低层特征,对于大尺寸害虫,高层信息应该较多的使用;2、加入两个可训练参数使网络对于权重的学习呈现非线性化,学习的是输入候选框对于各层局部特征的非线性依赖关系。其能够达到的效果是:网络能够感知到输入害虫候选框的尺寸,并能够针对不同尺寸给出相应的特征权重组合,达到有效特征融合的目的。学习到的特征权重给予了害虫目标对各层局部特征需求的指导,从而获得了具有更强表达能力的融合局部特征,有效提高识别与检测效果。
其具体步骤如下:
(1)通过尺度感知害虫检测网络计算特征权重:根据每个害虫候选区域的尺寸,通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重。单纯的叠加各层局部特征会导致害虫目标混乱的问题,因此本发明使用特征加权门函数通过输入尺寸计算权重使网络能够自主学习各层局部特征的需求程度,从而达到优化的目的。其具体步骤如下:
A1)将害虫候选区域的尺寸输入到标记函数中判断该候选区域大小;其具体步骤如下:
A11)输入害虫候选区域尺寸表示为其宽w和高h,将w和h输入到标记函数sign*(h,w)中;
A12)该标记函数sign*(h,w)定义为:
其中w0和h0为标记函数的超参数,定义为判断该害虫候选区域是否为小目标的标准,在这里w0和h0分别取害虫图像训练集Xi=[x1,x2,…xn]所有标注目标宽wn和高hn的均值和当输入害虫区域尺寸(w,h)中w-w0<0且h-h0<0,当区域被定义为小目标害虫区域,其他情况下视为大目标害虫区域;
A13)计算每个害虫候选区域的标记函数输出sign*(h,w)以表示该区域是否为小目标;
A2)将害虫候选区域的尺寸和标记函数结果输入到特征加权门函数中计算所需特征各尺度的权重;其具体步骤如下:
A21)输入候选区域尺寸表示为其宽w和高h,引入2个可训练参数α=(α1,α2,...,αk)和β=(β1,β2,...,βk),其中k表示特征金字塔网络抽取的多尺度害虫特征图个数;
A22)定义特征加权门函数λi(si,h,w)计算λ=(λ1,λ2,...,λk):
其中输出λi为第i个尺度的害虫特征图所需的权重,si为第i个尺度的害虫特征图相比于原图的缩放步长,zi由步长si,宽w,高h和标记函数输出sign*(h,w)共同计算得到:
在此,λi(si,h,w)公式的j代表从1到k每一层的索引。
A23)参数α和β的训练过程:
A231)训练前对α和β进行初始化,分别使用常数初始化为1.0和10.0,根据反向传播的链式求导公式,由于αi会参加每一个权重λj的计算,因此αi的梯度来自于各个尺度j的权重λj,分两种情况讨论,当i=j时,λj对αi的梯度为:
当i≠j时,λj对αi的梯度为:
因此,损失函数对αi的总梯度为:
通过神经网络的反向传播算法,训练αi:
其中η为学习率;
A232)计算βi的总梯度:
其中当i=j时,λj对βi的梯度为:
当i≠j时,λj对βi的梯度为:
通过神经网络的反向传播算法,训练βi:
(2)进行局部特征融合:将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征,并通过特征权重融合各尺度特征,输出融合后的害虫区域局部特征。
其中,将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征包括以下步骤:
B1)输入害虫候选区域表示为其左上角点坐标(x,y)以及宽w高h,对每一个尺度下的害虫特征图Mi扣取出相应位置的害虫局部特征Fi,害虫特征图Mi大小为(W,H,C)分别代表特征图宽高和通道数;
B2)害虫局部特征Fi抠取过程表示为:
其中si为尺度i下特征图Mi相比于原图的缩放步长,公式中的冒号表示Fi的第三个维度全部与原Mi相同,前两个维度由前面的两个冒号取得;
B3)为了方便多尺度特征融合,将不同尺度下抠取的害虫局部特征F=(F1,F2,...,Fk)统一池化到p×p大小,池化过程表示将害虫局部特征Fi分割成p×p的块,对每一块中的像素做均值池化,得到统一大小的多尺度局部特征F′=(F1′,F2′,...,F′k)。
其中,通过特征权重融合各尺度特征包括以下步骤:
C1)对于输入害虫候选区域,获得其在每个尺度的权重λ=(λ1,λ2,...,λk)以及统一的多尺度局部特征F′=(F1′,F2′,...,F′k);
(3)精修网络分类与回归候选框:将融合后的害虫区域局部特征输入精修网络,对该害虫区域分类并回归边界框的值。在分类任务上,采用多层全连接网络和softmax进行概率归一化,交叉熵损失函数作为监督,输出每个候选框的害虫类别。在回归任务上,采用多层全连接网络直接回归出边界框的偏移,使用SmoothL1损失函数作为监督。
第五步,待检测害虫图像的获取:获取待检测的害虫图像。
第六步,待检测害虫图像候选区域的提取:利用候选区域提取方法提取待检测害虫图像的害虫图像候选区域。
第七步,害虫图像检测结果的获得:将待检测害虫图像的害虫图像候选区域输入训练后的尺度感知害虫检测网络,得到害虫图像检测结果。
如图2所示,图2为利用现有方法(FPN)在小麦麦蜘蛛检测的效果图。由图2中可以看到,目前的方法在害虫尺寸较小时(如图中麦蜘蛛所示)存在较大的漏检情况。而在本发明的害虫检测方法中,如图3所示,可以有效地提高麦蜘蛛的检测效果,这正是由于引入了尺度感知害虫检测网络后,害虫的局部特征经过融合得到了强化,使得网络能够对潜在的害虫候选区域上给出较大的分类置信度,大大缓解害虫漏检的情况。
表1本发明方法与现有方法在14类害虫检测任务中的检测结果对比表(单位为交并比为0.5下的平均准确率AP)
如表1所示,最右边一列为本发明提出的尺度感知害虫检测网络实验结果,可以看出,相比于其他方法在14类害虫的检测结果,本发明的方法能够大大提升检测精度,在每一类害虫的平均准确率上提升约4%。在一些对农业生产危害较大的害虫类别上(如小麦黏虫、玉米桃蛀螟等)提升尤为明显,这证明了本发明能够适用于实际农业场景,为如今的智慧农业应用作出巨大贡献。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (8)
1.一种基于区域尺度感知技术的害虫图像检测方法,其特征在于,包括以下步骤:
11)获取害虫图像数据集并进行预处理:获取害虫图像数据集,并对害虫图像数据集的图像进行归一化处理;
12)害虫图像候选区域的提取:利用候选区域提取方法提取害虫图像候选区域,所述的候选区域提取方法为先利用卷积神经网络提取害虫特征,再通过特征金字塔网络抽取多尺度特征,最后利用区域候选网络生成害虫图像候选区域;
13)构建尺度感知害虫检测网络:构建尺度感知害虫检测网络用于提取害虫图像候选区域的局部特征,所述的尺度感知害虫检测网络方法以害虫候选区域为输入、每个害虫候选区域的检测结果为输出,第一层为利用RoI池化层抽取多尺度局部特征,第二层为可训练的特征加权门函数,第三层为害虫局部特征融合层,最后一层利用精修网络进行分类与回归;
14)尺度感知害虫检测网络的训练:对尺度感知害虫检测网络进行训练;
15)待检测害虫图像的获取:获取待检测的害虫图像;
16)待检测害虫图像候选区域的提取:利用候选区域提取方法提取待检测害虫图像的害虫图像候选区域;
17)害虫图像检测结果的获得:将待检测害虫图像的害虫图像候选区域输入训练后的尺度感知害虫检测网络,得到害虫图像检测结果。
2.根据权利要求1所述的一种基于区域尺度感知技术的害虫图像检测方法,其特征在于,所述害虫图像候选区域的提取包括以下步骤:
21)将害虫图像数据集的图像输入卷积神经网络进行处理,得到害虫图像的特征图;
22)再将害虫图像的特征图输入特征金字塔网络,从中抽取不同尺度大小的多尺寸害虫特征图;
23)最后将不同尺度大小的多尺寸害虫特征图输入区域候选网络,生成害虫图像候选区域。
3.根据权利要求1所述的一种基于区域尺度感知技术的害虫图像检测方法,其特征在于,所述构建尺度感知害虫检测网络包括以下步骤:
31)设定尺度感知害虫检测网络的输入为害虫图像候选区域、输出为害虫图像检测结果;
32)设定尺度感知害虫检测网络的第一层为通过RoI池化的方法抽取害虫目标的多尺度局部特征:根据每个害虫候选区域的位置和大小,在多尺度害虫特征图中抽取对应的多尺度害虫目标局部特征;
33)设定尺度感知害虫检测网络的第二层为通过特征加权门函数计算特征权重:根据每个害虫候选区域的尺寸,通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重;
34)设定尺度感知害虫检测网络的第三层为多尺度害虫目标局部特征融合:该特征加权门函数所计算的权重对多尺度害虫局部特征进行融合;
35)设定尺度感知害虫检测网络的第四层为害虫区域分类与精修:基于融合的害虫局部特征,通过精修网络对该害虫区域分类并精修害虫位置。
4.根据权利要求1所述的一种基于区域尺度感知技术的害虫图像检测方法,其特征在于,所述尺度感知害虫检测网络的训练包括以下步骤:
41)通过尺度感知害虫检测网络计算特征权重:根据每个害虫候选区域的尺寸,通过特征加权门函数计算该区域在各个尺度特征图中对应的特征权重;
42)进行局部特征融合:将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征,并通过特征权重融合各尺度特征,输出融合后的害虫区域局部特征;
43)精修网络分类与回归候选框:将融合后的害虫区域局部特征输入精修网络,对该害虫区域分类并回归边界框的值。
5.根据权利要求4所述的一种基于区域尺度感知技术的害虫图像检测方法,其特征在于,所述的通过尺度感知害虫检测网络计算特征权重包括以下步骤:
51)将害虫候选区域的尺寸输入到标记函数中判断该候选区域大小;其具体步骤如下:
511)输入害虫候选区域尺寸表示为其宽w和高h,将w和h输入到标记函数sign*(h,w)中;
512)该标记函数sign*(h,w)定义为:
其中w0和h0为标记函数的超参数,定义为判断该害虫候选区域是否为小目标的标准,在这里w0和h0分别取害虫图像训练集Xi=[x1,x2,…xn]所有标注目标宽wn和高hn的均值和当输入害虫区域尺寸(w,h)中w-w0<0且h-h0<0,当区域被定义为小目标害虫区域,其他情况下视为大目标害虫区域;
513)计算每个害虫候选区域的标记函数输出sign*(h,w)以表示该区域是否为小目标;
52)将害虫候选区域的尺寸和标记函数结果输入到特征加权门函数中计算所需特征各尺度的权重;其具体步骤如下:
521)输入候选区域尺寸表示为其宽w和高h,引入2个可训练参数α=(α1,α2,...,αk)和β=(β1,β2,...,βk),其中k表示特征金字塔网络抽取的多尺度害虫特征图个数;
522)定义特征加权门函数λi(si,h,w)计算λ=(λ1,λ2,...,λk):
其中输出λi为第i个尺度的害虫特征图所需的权重,si为第i个尺度的害虫特征图相比于原图的缩放步长,zi由步长si,宽w,高h和标记函数输出sign*(h,w)共同计算得到:
523)参数α和β的训练过程:
5231)训练前对α和β进行初始化,分别使用常数初始化为1.0和10.0,根据反向传播的链式求导公式,由于αi会参加k个局部特征图中每一个权重λj的计算,因此αi的梯度来自于各个尺度层j的权重λj,分两种情况讨论,当i=j时,λj对αi的梯度为:
当i≠j时,λj对αi的梯度为:
因此,损失函数对αi的总梯度为:
通过神经网络的反向传播算法,训练αi:
其中η为学习率;
5232)计算βi的总梯度:
其中当i=j时,λj对βi的梯度为:
当i≠j时,λj对βi的梯度为:
通过神经网络的反向传播算法,训练βi:
6.根据权利要求4所述的一种基于区域尺度感知技术的害虫图像检测方法,其特征在于,所述的将该每个害虫候选区域在各个尺度的特征图中抠取出局部特征包括以下步骤:
61)输入害虫候选区域表示为其左上角点坐标(x,y)以及宽w高h,对每一个尺度下的害虫特征图Mi扣取出相应位置的害虫局部特征Fi,害虫特征图Mi大小为(W,H,C)分别代表特征图宽高和通道数;
62)害虫局部特征Fi抠取过程表示为:
其中si为尺度i下特征图Mi相比于原图的缩放步长;
63)为了方便多尺度特征融合,将不同尺度下抠取的害虫局部特征F=(F1,F2,...,Fk)统一池化到p×p大小,池化过程表示将害虫局部特征Fi分割成p×p的块,对每一块中的像素做均值池化,得到统一大小的多尺度局部特征F′=(F′1,F′2,...,F′k)。
8.根据权利要求2所述的一种基于区域尺度感知技术的害虫图像检测方法,其特征在于,所述的特征金字塔网络为FPN网络,区域候选网络为RPN网络,精修网络为R-CNN网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352776.5A CN111476238B (zh) | 2020-04-29 | 2020-04-29 | 一种基于区域尺度感知技术的害虫图像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352776.5A CN111476238B (zh) | 2020-04-29 | 2020-04-29 | 一种基于区域尺度感知技术的害虫图像检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476238A CN111476238A (zh) | 2020-07-31 |
CN111476238B true CN111476238B (zh) | 2023-04-07 |
Family
ID=71761926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010352776.5A Active CN111476238B (zh) | 2020-04-29 | 2020-04-29 | 一种基于区域尺度感知技术的害虫图像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111476238B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465821A (zh) * | 2020-12-22 | 2021-03-09 | 中国科学院合肥物质科学研究院 | 一种基于边界关键点感知的多尺度害虫图像检测方法 |
CN112733614B (zh) * | 2020-12-22 | 2022-09-09 | 中国科学院合肥物质科学研究院 | 一种带有相似尺寸强化识别的害虫图像检测方法 |
CN113177133B (zh) * | 2021-04-23 | 2024-03-29 | 深圳依时货拉拉科技有限公司 | 一种图像检索方法、装置、设备及存储介质 |
CN113159183B (zh) * | 2021-04-23 | 2022-08-30 | 中国科学院合肥物质科学研究院 | 基于局部密集区域密度特征检测的微小害虫图像识别方法 |
CN114445785B (zh) * | 2022-04-11 | 2022-06-21 | 广东省农业科学院植物保护研究所 | 基于物联网的荔枝虫害监测预警方法、系统及存储介质 |
CN115115887B (zh) * | 2022-07-07 | 2023-09-12 | 中国科学院合肥物质科学研究院 | 基于TSD-Faster RCNN的农作物害虫检测方法及其网络 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845401A (zh) * | 2017-01-20 | 2017-06-13 | 中国科学院合肥物质科学研究院 | 一种基于多空间卷积神经网络的害虫图像识别方法 |
WO2019126971A1 (zh) * | 2017-12-25 | 2019-07-04 | 仲恺农业工程学院 | 一种基于机器视觉的虫害监测方法 |
CN110222215A (zh) * | 2019-05-31 | 2019-09-10 | 浙江大学 | 一种基于f-ssd-iv3的作物害虫检测方法 |
CN110766041A (zh) * | 2019-09-04 | 2020-02-07 | 江苏大学 | 一种基于深度学习的害虫检测方法 |
WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
-
2020
- 2020-04-29 CN CN202010352776.5A patent/CN111476238B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845401A (zh) * | 2017-01-20 | 2017-06-13 | 中国科学院合肥物质科学研究院 | 一种基于多空间卷积神经网络的害虫图像识别方法 |
WO2019126971A1 (zh) * | 2017-12-25 | 2019-07-04 | 仲恺农业工程学院 | 一种基于机器视觉的虫害监测方法 |
WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
CN110222215A (zh) * | 2019-05-31 | 2019-09-10 | 浙江大学 | 一种基于f-ssd-iv3的作物害虫检测方法 |
CN110766041A (zh) * | 2019-09-04 | 2020-02-07 | 江苏大学 | 一种基于深度学习的害虫检测方法 |
Non-Patent Citations (2)
Title |
---|
基于区域卷积神经网络的农业害虫检测方法;魏杨等;《计算机科学》;20181115;全文 * |
基于深度学习的病虫害智能化识别系统;陈天娇等;《中国植保导刊》;20190425(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111476238A (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476238B (zh) | 一种基于区域尺度感知技术的害虫图像检测方法 | |
Jiang et al. | CNN feature based graph convolutional network for weed and crop recognition in smart farming | |
Wang et al. | Image segmentation of overlapping leaves based on Chan–Vese model and Sobel operator | |
Tellaeche et al. | A computer vision approach for weeds identification through Support Vector Machines | |
Rothe et al. | Cotton leaf disease identification using pattern recognition techniques | |
Zhang et al. | Plant disease recognition based on plant leaf image. | |
Zhao et al. | ApLeaf: An efficient android-based plant leaf identification system | |
Zheng et al. | Mean-shift-based color segmentation of images containing green vegetation | |
Tellaeche et al. | A vision-based method for weeds identification through the Bayesian decision theory | |
CN111783576B (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
CN110033007B (zh) | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 | |
Mishra et al. | A Deep Learning-Based Novel Approach for Weed Growth Estimation. | |
CN104598908A (zh) | 一种农作物叶部病害识别方法 | |
WO2013191975A1 (en) | Machine-learnt person re-identification | |
CN102915446A (zh) | 基于svm机器学习的植物病虫害检测方法 | |
Lin et al. | The pest and disease identification in the growth of sweet peppers using faster R-CNN and mask R-CNN | |
CN114821014B (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
CN113657294B (zh) | 一种基于计算机视觉的作物病虫害检测方法及系统 | |
CN109886295A (zh) | 一种基于神经网络的蝴蝶识别方法及相关设备 | |
CN113449806A (zh) | 基于层次结构的二阶段林业害虫识别与检测系统及方法 | |
Sujithra et al. | CRUN‐Based Leaf Disease Segmentation and Morphological‐Based Stage Identification | |
Miao et al. | Crop weed identification system based on convolutional neural network | |
Tijare et al. | Image recognition based crop disease identification system: a survey | |
Bajpai et al. | Deep learning model for plant-leaf disease detection in precision agriculture | |
Loresco et al. | A scale-invariant lettuce leaf area calculation using machine vision and knowledge-based methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |