CN109784205A - 一种基于多光谱巡检图像的杂草智能识别方法 - Google Patents
一种基于多光谱巡检图像的杂草智能识别方法 Download PDFInfo
- Publication number
- CN109784205A CN109784205A CN201811590807.XA CN201811590807A CN109784205A CN 109784205 A CN109784205 A CN 109784205A CN 201811590807 A CN201811590807 A CN 201811590807A CN 109784205 A CN109784205 A CN 109784205A
- Authority
- CN
- China
- Prior art keywords
- image
- weeds
- multispectral
- inspection image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
一种基于多光谱巡检图像的杂草智能识别方法。本发明涉及深度学习图像识别领域,特别是涉及一种基于神经网络对巡检图像中杂草的识别方法。本发明以提高多光谱巡检图像中杂草的识别率为目标,以多光谱巡检图像中杂草的特征为基础,结合卷积神经网络方法,解决多光谱巡检图像中电力设备附近杂草识别问题。通过对多光谱巡检图像进行样本数据增广和图像分割,依据杂草和依附的电力设备的特征,在不丢失边缘信息的情况下,获得完整的区域分割结果。接着引入区域生成网络,提取出整幅图像的基础信息,然后再对图像提取固定个数的候选框的图像特征,和改进的图像分类网络连接在一起,得到最终的卷积神经网络模型对杂草进行智能识别。
Description
技术领域
本发明涉及深度学习图像识别领域,特别是涉及一种基于神经网络对巡检图像中杂草的识别方法。
背景技术
由于目前电力巡检主要存在地形复杂、环境复杂、气候复杂、工作量庞大、高空作业危险性大、突发事件响应不及时的特点,并且随着线路里程不断增加,人均运维长度逐年增加,人工巡检方式效率低,有些区域还无法拍摄,所以采用无人机进行线路巡检,通过多光谱设备对每级杆塔或每条线路进行近距离观察,快速获取目标的图像数据,提升巡检效率。
针对无人机获取的多光谱巡检图像,由于杂草可能会造成高压设备对地短路,所以需要对图像中的杂草进行识别。而卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网络在图像方面能够给出更好的结果。所以使用卷积神经网络对多光谱巡检图像进行杂草识别。
近年来,为了解决图像中的杂草识别问题,研究人员从多个方面展开研究,被广泛采纳和使用的是基于机器视觉的识别方法,所取得的成果主要有:
(1)空洞卷积结合全局池化的杂草识别方法
该方法中,针对传统AlexNet模型参数大、特征尺度单一的问题,该文提出一种空洞卷积结合全局池化的卷积神经网络识别模型。通过对初始卷积层的卷积核进行膨胀,以增大感受野而不改变参数计算量,并采用传统的全连接层来减少模型的参数,通过设置不同膨胀系数的初始卷积层卷积核与全局池化层类型,得到的模型对正常情况下不同作物幼苗与杂草识别性能较好,为后续深入探索复杂背景下的杂草识别打下基础。
(2)提取多尺度分层特征的杂草识别方法
该方法中,首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中的目标识别。该方法实现了精确、稳定和高效的杂草识别,为精确除草的发展提供了参考。
方法(1)和方法(2)所针对的主要是田间环境背景下的农作物与杂草的识别,而针对无人机采集的多光谱巡检图像,使用卷积神经网络在电力设备背景下对杂草进行识别同样具有重要意义。
发明内容
本发明以提高多光谱巡检图像中杂草的识别率为目标,以多光谱巡检图像中杂草的特征为基础,结合卷积神经网络方法,解决多光谱巡检图像中电力设备附近杂草识别问题。具体包括:
1.对多光谱巡检图像进行样本数据增广和图像分割,依据杂草和依附的电力设备(如电塔)的特征,将正常区域与背景环境相互交错的图像进行精准分割,在不丢失边缘信息的情况下,获得完整的区域分割结果,同时考虑图像边缘特征和区域特征,为后续的卷积神经网络的识别打下基础。
2.引入区域生成网络,提取出整幅图像的基础信息,然后再对图像提取固定个数的候选框的图像特征,通过roi_pooling(兴趣区域池化)层映射为统一尺寸的候选区域特征向量,再通过fc(全连接)层转换为候选区域属于目标区域的概率和该窗口应该平移缩放的参数,再和改进的图像分类网络连接在一起,得到最终的卷积神经网络模型对杂草进行识别。
与现有技术相比,本发明的创新之处在于:面对无人机采集的多光谱巡检图像,利用其多光谱的特性对图像进行预处理,引入卷积神经网络的方法对杂草进行自动识别,减轻人工识别的负担。具体体现在:
1.进行电力设备背景下的杂草识别时,针对现用的图像样本进行数据增广,并采用多光谱图像分割技术完成图像分割的预处理,提高卷积神经网络对杂草识别的准确率。
2.将卷积神经网络应用到多光谱巡检图像的杂草识别,利用区域生成网络完成候选区域提取,确定杂草在图像中的所在位置,帮助电力巡检人员判断电力设备的当前状态,
从而做出合理决策。
附图说明
图1基于多光谱巡检图像的杂草智能识别流程
图2区域生成网络结构示意图
图3区域生成网络与图像分类网络连接示意图
具体实施方式
参阅附图1,首先从杂草图像库中分別抓取各类场景的样本图像,然后对各类图像添加标签、数据增广、图像预处理,并将处理后的图像划分为训练集和测试集。训练集用于训练图像分类模型和区域生成模型,测试集用于测试模型的识别效果。在测试时,为每幅样本图像提取出目标候选区域,并将候选区域通过之前训练好的分类网络,判别出候选区域中是否存在已标记的类别,进而得出整幅图像中杂草的位置信息。
实际实施过程中主要包含三个阶段进行实施:
第一,图像预处理。
首先由于大部分巡检图像中的电气设备在中心位置,针对这个特征,我们对图像进行数据增广,主要有如下方法:
1.对图像随机进行上下左右翻转;
2.对图像随机变换对比度;
3.对图像进行尺度变换。
由于多光谱巡检图像中杂草区域与背景环境相互交错,所以对多光谱巡检图像进行精准分割能够为杂草识别提供有效的依据,本方法在这里引用基于数学形态学的IKONOS多光谱图像分割技术,首先利用K-L变换得到PC1图像,该图像是多波段图像信息的归纳和综合,以可见光波谱信息为主,然后利用一定形态和尺寸的结构元素SE探测图像,获取最终的结果梯度图像,具体过程如下:
1.利用平坦的不同尺寸的SE提取图像的多尺度形态学梯度:
式中,Bi(0≤i≤n)表示大小为(2i+1)×(2i+1)的一组结构元素,n是尺度。
2.考虑到多光谱巡检图像对象边缘在不同方向上的异质性,采用一组由5×5像素构成的8个方向的平坦结构元素进行多方向边缘检测,多方向梯度算子的形式如下:
3.最后,将多尺度梯度和多方向梯度的加权和作为结果梯度图像。
第二,图像分类网络。
本方法使用改进后的AlexNet网络作为图像分类网络。为了使得网络能够适应各种尺寸的图像,将最后一层pooling(池化)层改为roi_pooling(兴趣区域池化)层,使得不同尺寸的图像在到fc(全连接)层时连接为相同尺寸的特征向量。该层将不同尺寸的输入图像统一划分为4×4、2×2和1×1的区域,然后对不同的区块用最大值池化采集。表1为图像分类网络的结构。
表1图像分类网络结构表
第三,区域生成网络。
区域生成网络的前向网络结构如附图2所示。首先通过一个由conv(卷积)层和pooling(池化)层等层次组成的基础特征提取网络提取出整幅图像的基础信息,然后再对图像提取固定个数的候选框的图像特征,通过roi_pooling(兴趣区域池化)层映射为统一尺寸的候选区域特征向量,再通过fc(全连接)层转换为候选区域属于目标区域的概率和该窗口应该平移缩放的参数。
基础特征提取包含五个conv(卷积)层和五个ReLU(修正线性单元)层,候选区域生成采用一种暴力穷举的方法,对图像的每一个位置产生九个可能的窗口,包括三种面积和三种比例的组合。
将产生的候选区域映射至图像信息相应的位置得到该区域的基础图像信息,再通过roi_pooling(兴趣区域池化)层转换为统一尺寸的候选区域图像信息输入后面的窗口分类网络。分类网络输出每个位置上的9个候选窗口属于前景和背景的概率,每个位置共1个参数。该层网络通过fc(全连接)层与前向的特征向量连接。值得注意的是,该层网络并没有直接提取任何候选区域,而是通过网络自身对暴力穷举得到的候选区域进行筛选和矫正得到正确的候选区域。
得到网络输出的候选区域位置和候选区物体类别后,再与实际的候选区域位置和物体种类进行比较,计算相应的代价函数,再对前面的网络通过链式求导优化各层参数。本方法在计算代价函数时将候选区域与真实的目标物体区域进行对比,选择较明显的前景和后景区域计入代价函数。具体的做法是首先列出与真值物体区域重叠面积最大的候选区域,记为前景样本;对剩余的候选区域将重叠比例大于0.7的区域记为前景,重叠比例小于0.3的记为后景,剩余不是很明确或者跨越图像边界的候选区域均不计入代价函数。候选区域的代价函数计算如下式所示:
式中,pi是分类网络对该区域为前景或后景的置信度,为前后景真实标签,若为1则表示该区域真实为前景,后项计入计算,否则为后景,后项不计入计算。ti为标记图像区域位置和尺寸的四维向量,为真实物体方框的区域位置和尺寸。用来描述网络计算分类置信度和真实类别的误差,本方法用真实分类u对应的概率计算。如下式所示:
表示候选区域检测误差,用于比较真实物体区域V与预测候选区域tu间的平移缩放参数误差,如下式所示:
式中,g为smooth L1损失函数,对异常值不敏感,如下式所示:
得到区域生成网络后,将它和图像分类网络连接在一起,如附图3所示,共享部分基础网络层,再用区域生成网络产生的候选区域通过roi_pooling(兴趣区域池化)层训练图像分类网络。
对于基础特征提取网络,本方法首先用数据量较大的ImageNet训练得到初始参数W0,再用数据量较小的巡检图像数据对网络参数细调,具体的调节方法如下:
1.以W0为初始化参数,先训练区域生成网络,用区域生成网络提取原数据集中的候选区域;
2.以W0为初始化参数,用第1步产生的候选区域训练图像分类网络,产生的参数记为W1;
3.以W1为初始参数训练,重新训练区域生成网络。
Claims (1)
1.一种基于多光谱巡检图像的杂草智能识别方法,包含对多光谱巡检图像的样本数据增广、图像分割和基于卷积神经网络模型的杂草识别,其特征在于:
1)针对多光谱巡检图像中存在电气设备在中心位置这个特征,我们对图像进行随机上下左右翻转、随机变换对比度和尺度变换三种数据增广办法,并且引用基于数学形态学的IKONOS多光谱图像分割技术对多光谱巡检图像进行分割;
2)卷积神经网络模型中的图像分类网络使用改进后的AlexNet网络,为了使得网络能够适应各种尺寸的图像,将最后一层pooling(池化)层改为roi_pooling(兴趣区域池化)层,使得不同尺寸的图像在到fc(全连接)层时连接为相同尺寸的特征向量;
3)卷积神经网络模型中的区域生成网络中,候选区域的代价函数计算如下式所示:
式中,pi是分类网络对该区域为前景或后景的置信度,为前后景真实标签,若为1则表示该区域真实为前景,后项计入计算,否则为后景,后项不计入计算;ti为标记图像区域位置和尺寸的四维向量,为真实物体方框的区域位置和尺寸;用来描述网络计算分类置信度和真实类别的误差,本方法用真实分类u对应的概率计算;如下式所示:
表示候选区域检测误差,用于比较真实物体区域V与预测候选区域tu间的平移缩放参数误差,如下式所示:
式中,g为smooth L1损失函数,对异常值不敏感,如下式所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811590807.XA CN109784205B (zh) | 2018-12-25 | 2018-12-25 | 一种基于多光谱巡检图像的杂草智能识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811590807.XA CN109784205B (zh) | 2018-12-25 | 2018-12-25 | 一种基于多光谱巡检图像的杂草智能识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109784205A true CN109784205A (zh) | 2019-05-21 |
CN109784205B CN109784205B (zh) | 2021-02-23 |
Family
ID=66498295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811590807.XA Active CN109784205B (zh) | 2018-12-25 | 2018-12-25 | 一种基于多光谱巡检图像的杂草智能识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109784205B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866931A (zh) * | 2019-11-18 | 2020-03-06 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
CN111523423A (zh) * | 2020-04-15 | 2020-08-11 | 四川赛康智能科技股份有限公司 | 一种电力设备识别方法及装置 |
CN111553258A (zh) * | 2020-04-26 | 2020-08-18 | 江苏大学 | 一种利用卷积神经网络的茶园识别除草方法 |
CN113240697A (zh) * | 2021-05-13 | 2021-08-10 | 安徽大学 | 一种生菜多光谱图像前景分割方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274451A (zh) * | 2017-05-17 | 2017-10-20 | 北京工业大学 | 基于共享卷积神经网络的绝缘子检测方法及装置 |
CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
-
2018
- 2018-12-25 CN CN201811590807.XA patent/CN109784205B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274451A (zh) * | 2017-05-17 | 2017-10-20 | 北京工业大学 | 基于共享卷积神经网络的绝缘子检测方法及装置 |
CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
Non-Patent Citations (2)
Title |
---|
徐春燕: "基于数学形态学的IKONOS多光谱图像分割方法研究", 《遥感学报》 * |
江南烟雨尘: "Faster RCNN中RPN理解", 《博客园》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866931A (zh) * | 2019-11-18 | 2020-03-06 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
CN111523423A (zh) * | 2020-04-15 | 2020-08-11 | 四川赛康智能科技股份有限公司 | 一种电力设备识别方法及装置 |
CN111523423B (zh) * | 2020-04-15 | 2023-08-08 | 四川赛康智能科技股份有限公司 | 一种电力设备识别方法及装置 |
CN111553258A (zh) * | 2020-04-26 | 2020-08-18 | 江苏大学 | 一种利用卷积神经网络的茶园识别除草方法 |
CN113240697A (zh) * | 2021-05-13 | 2021-08-10 | 安徽大学 | 一种生菜多光谱图像前景分割方法 |
CN113240697B (zh) * | 2021-05-13 | 2022-10-18 | 安徽大学 | 一种生菜多光谱图像前景分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109784205B (zh) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
CN110263705A (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 | |
CN109784205A (zh) | 一种基于多光谱巡检图像的杂草智能识别方法 | |
CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
CN106504233B (zh) | 基于Faster R-CNN的无人机巡检图像电力小部件识别方法及系统 | |
CN107092870B (zh) | 一种高分辨率影像语义信息提取方法 | |
Zhong et al. | An adaptive subpixel mapping method based on MAP model and class determination strategy for hyperspectral remote sensing imagery | |
CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
CN105608692B (zh) | 基于反卷积网络和稀疏分类的极化sar图像分割方法 | |
CN110119728A (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
CN104866869B (zh) | 基于分布差异与增量学习的时序sar图像分类方法 | |
CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
CN107909015A (zh) | 基于卷积神经网络及空谱信息融合的高光谱图像分类方法 | |
CN109584248A (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN110363201A (zh) | 基于协同学习的弱监督语义分割方法及系统 | |
CN107564025A (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
CN107392130A (zh) | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 | |
CN107832797B (zh) | 基于深度融合残差网的多光谱图像分类方法 | |
CN110322453A (zh) | 基于位置注意力和辅助网络的3d点云语义分割方法 | |
CN106296695A (zh) | 基于显著性的自适应阈值自然目标图像分割抽取算法 | |
CN104217438A (zh) | 基于半监督的图像显著性检测方法 | |
CN106650812A (zh) | 一种卫星遥感影像的城市水体提取方法 | |
CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
CN105427313B (zh) | 基于反卷积网络和自适应推理网络的sar图像分割方法 | |
CN107545571A (zh) | 一种图像检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |