CN109784205B - 一种基于多光谱巡检图像的杂草智能识别方法 - Google Patents
一种基于多光谱巡检图像的杂草智能识别方法 Download PDFInfo
- Publication number
- CN109784205B CN109784205B CN201811590807.XA CN201811590807A CN109784205B CN 109784205 B CN109784205 B CN 109784205B CN 201811590807 A CN201811590807 A CN 201811590807A CN 109784205 B CN109784205 B CN 109784205B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- network
- area
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000196324 Embryophyta Species 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007689 inspection Methods 0.000 title claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 238000013434 data augmentation Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000013145 classification model Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 2
- 230000011218 segmentation Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于多光谱巡检图像的杂草智能识别方法。本发明涉及深度学习图像识别领域,特别是涉及一种基于神经网络对巡检图像中杂草的识别方法。本发明以提高多光谱巡检图像中杂草的识别率为目标,以多光谱巡检图像中杂草的特征为基础,结合卷积神经网络方法,解决多光谱巡检图像中电力设备附近杂草识别问题。通过对多光谱巡检图像进行样本数据增广和图像分割,依据杂草和依附的电力设备的特征,在不丢失边缘信息的情况下,获得完整的区域分割结果。接着引入区域生成网络,提取出整幅图像的基础信息,然后再对图像提取固定个数的候选框的图像特征,和改进的图像分类网络连接在一起,得到最终的卷积神经网络模型对杂草进行智能识别。
Description
技术领域
本发明涉及深度学习图像识别领域,特别是涉及一种基于神经网络对巡检图像中杂草的识别方法。
背景技术
由于目前电力巡检主要存在地形复杂、环境复杂、气候复杂、工作量庞大、高空作业危险性大、突发事件响应不及时的特点,并且随着线路里程不断增加,人均运维长度逐年增加,人工巡检方式效率低,有些区域还无法拍摄,所以采用无人机进行线路巡检,通过多光谱设备对每级杆塔或每条线路进行近距离观察,快速获取目标的图像数据,提升巡检效率。
针对无人机获取的多光谱巡检图像,由于杂草可能会造成高压设备对地短路,所以需要对图像中的杂草进行识别。而卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网络在图像方面能够给出更好的结果。所以使用卷积神经网络对多光谱巡检图像进行杂草识别。
近年来,为了解决图像中的杂草识别问题,研究人员从多个方面展开研究,被广泛采纳和使用的是基于机器视觉的识别方法,所取得的成果主要有:
(1)空洞卷积结合全局池化的杂草识别方法
该方法中,针对传统AlexNet模型参数大、特征尺度单一的问题,该文提出一种空洞卷积结合全局池化的卷积神经网络识别模型。通过对初始卷积层的卷积核进行膨胀,以增大感受野而不改变参数计算量,并采用传统的全连接层来减少模型的参数,通过设置不同膨胀系数的初始卷积层卷积核与全局池化层类型,得到的模型对正常情况下不同作物幼苗与杂草识别性能较好,为后续深入探索复杂背景下的杂草识别打下基础。
(2)提取多尺度分层特征的杂草识别方法
该方法中,首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中的目标识别。该方法实现了精确、稳定和高效的杂草识别,为精确除草的发展提供了参考。
方法(1)和方法(2)所针对的主要是田间环境背景下的农作物与杂草的识别,而针对无人机采集的多光谱巡检图像,使用卷积神经网络在电力设备背景下对杂草进行识别同样具有重要意义。
发明内容
本发明以提高多光谱巡检图像中杂草的识别率为目标,以多光谱巡检图像中杂草的特征为基础,结合卷积神经网络方法,解决多光谱巡检图像中电力设备附近杂草识别问题。具体包括:
1.对多光谱巡检图像进行样本数据增广和图像分割,依据杂草和依附的电力设备(如电塔)的特征,将正常区域与背景环境相互交错的图像进行精准分割,在不丢失边缘信息的情况下,获得完整的区域分割结果,同时考虑图像边缘特征和区域特征,为后续的卷积神经网络的识别打下基础。
2.引入区域生成网络,提取出整幅图像的基础信息,然后再对图像提取固定个数的候选框的图像特征,通过roi_pooling(兴趣区域池化)层映射为统一尺寸的候选区域特征向量,再通过fc(全连接)层转换为候选区域属于目标区域的概率和该窗口应该平移缩放的参数,再和改进的图像分类网络连接在一起,得到最终的卷积神经网络模型对杂草进行识别。
与现有技术相比,本发明的创新之处在于:面对无人机采集的多光谱巡检图像,利用其多光谱的特性对图像进行预处理,引入卷积神经网络的方法对杂草进行自动识别,减轻人工识别的负担。具体体现在:
1.进行电力设备背景下的杂草识别时,针对现用的图像样本进行数据增广,并采用多光谱图像分割技术完成图像分割的预处理,提高卷积神经网络对杂草识别的准确率。
2.将卷积神经网络应用到多光谱巡检图像的杂草识别,利用区域生成网络完成候选区域提取,确定杂草在图像中的所在位置,帮助电力巡检人员判断电力设备的当前状态,
从而做出合理决策。
附图说明
图1基于多光谱巡检图像的杂草智能识别流程
图2区域生成网络结构示意图
图3区域生成网络与图像分类网络连接示意图
具体实施方式
参阅附图1,首先从杂草图像库中分別抓取各类场景的样本图像,然后对各类图像添加标签、数据增广、图像预处理,并将处理后的图像划分为训练集和测试集。训练集用于训练图像分类模型和区域生成模型,测试集用于测试模型的识别效果。在测试时,为每幅样本图像提取出目标候选区域,并将候选区域通过之前训练好的分类网络,判别出候选区域中是否存在已标记的类别,进而得出整幅图像中杂草的位置信息。
实际实施过程中主要包含三个阶段进行实施:
第一,图像预处理。
首先由于大部分巡检图像中的电气设备在中心位置,针对这个特征,我们对图像进行数据增广,主要有如下方法:
1.对图像随机进行上下左右翻转;
2.对图像随机变换对比度;
3.对图像进行尺度变换。
由于多光谱巡检图像中杂草区域与背景环境相互交错,所以对多光谱巡检图像进行精准分割能够为杂草识别提供有效的依据,本方法在这里引用基于数学形态学的IKONOS多光谱图像分割技术,首先利用K-L变换得到PC1图像,该图像是多波段图像信息的归纳和综合,以可见光波谱信息为主,然后利用一定形态和尺寸的结构元素SE探测图像,获取最终的结果梯度图像,具体过程如下:
1.利用平坦的不同尺寸的SE提取图像的多尺度形态学梯度:
式中,Bi(0≤i≤n)表示大小为(2i+1)×(2i+1)的一组结构元素,n是尺度。
2.考虑到多光谱巡检图像对象边缘在不同方向上的异质性,采用一组由5×5像素构成的8个方向的平坦结构元素进行多方向边缘检测,多方向梯度算子的形式如下:
3.最后,将多尺度梯度和多方向梯度的加权和作为结果梯度图像。
第二,图像分类网络。
本方法使用改进后的AlexNet网络作为图像分类网络。为了使得网络能够适应各种尺寸的图像,将最后一层pooling(池化)层改为roi_pooling(兴趣区域池化)层,使得不同尺寸的图像在到fc(全连接)层时连接为相同尺寸的特征向量。该层将不同尺寸的输入图像统一划分为4×4、2×2和1×1的区域,然后对不同的区块用最大值池化采集。表1为图像分类网络的结构。
表1图像分类网络结构表
第三,区域生成网络。
区域生成网络的前向网络结构如附图2所示。首先通过一个由conv(卷积)层和pooling(池化)层等层次组成的基础特征提取网络提取出整幅图像的基础信息,然后再对图像提取固定个数的候选框的图像特征,通过roi_pooling(兴趣区域池化)层映射为统一尺寸的候选区域特征向量,再通过fc(全连接)层转换为候选区域属于目标区域的概率和该窗口应该平移缩放的参数。
基础特征提取包含五个conv(卷积)层和五个ReLU(修正线性单元)层,候选区域生成采用一种暴力穷举的方法,对图像的每一个位置产生九个可能的窗口,包括三种面积和三种比例的组合。
将产生的候选区域映射至图像信息相应的位置得到该区域的基础图像信息,再通过roi_pooling(兴趣区域池化)层转换为统一尺寸的候选区域图像信息输入后面的窗口分类网络。分类网络输出每个位置上的9个候选窗口属于前景和背景的概率,每个位置共1个参数。该层网络通过fc(全连接)层与前向的特征向量连接。值得注意的是,该层网络并没有直接提取任何候选区域,而是通过网络自身对暴力穷举得到的候选区域进行筛选和矫正得到正确的候选区域。
得到网络输出的候选区域位置和候选区物体类别后,再与实际的候选区域位置和物体种类进行比较,计算相应的代价函数,再对前面的网络通过链式求导优化各层参数。本方法在计算代价函数时将候选区域与真实的目标物体区域进行对比,选择较明显的前景和后景区域计入代价函数。具体的做法是首先列出与真值物体区域重叠面积最大的候选区域,记为前景样本;对剩余的候选区域将重叠比例大于0.7的区域记为前景,重叠比例小于0.3的记为后景,剩余不是很明确或者跨越图像边界的候选区域均不计入代价函数。候选区域的代价函数计算如下式所示:
式中,pi是分类网络对该区域为前景或后景的置信度,为前后景真实标签,若为1则表示该区域真实为前景,后项计入计算,否则为后景,后项不计入计算。ti为标记图像区域位置和尺寸的四维向量,为真实物体方框的区域位置和尺寸。用来描述网络计算分类置信度和真实类别的误差,本方法用真实分类u对应的概率计算。如下式所示:
式中,g为smooth L1损失函数,对异常值不敏感,如下式所示:
得到区域生成网络后,将它和图像分类网络连接在一起,如附图3所示,共享部分基础网络层,再用区域生成网络产生的候选区域通过roi_pooling(兴趣区域池化)层训练图像分类网络。
对于基础特征提取网络,本方法首先用数据量较大的ImageNet训练得到初始参数W0,再用数据量较小的巡检图像数据对网络参数细调,具体的调节方法如下:
1.以W0为初始化参数,先训练区域生成网络,用区域生成网络提取原数据集中的候选区域;
2.以W0为初始化参数,用第1步产生的候选区域训练图像分类网络,产生的参数记为W1;
3.以W1为初始参数训练,重新训练区域生成网络。
Claims (1)
1.一种基于多光谱巡检图像的杂草智能识别方法,包含对多光谱巡检图像的样本数据增广、图像分割和基于卷积神经网络模型的杂草识别,其特征在于:首先从杂草图像库中分別抓取各类场景的样本图像,然后对图像添加标签、数据增广、图像预处理,并将处理后的图像划分为训练集和测试集,训练集用于训练图像分类模型和区域生成模型,测试集用于测试模型的识别效果,在测试时,为每幅样本图像提取出目标候选区域,并将候选区域通过之前训练好的分类网络,判别出候选区域中是否存在已标记的类别,进而得出整幅图像中杂草的位置信息;该方法进一步包括:
(1)针对多光谱巡检图像中存在电气设备在中心位置这个特征,对图像进行随机上下左右翻转、随机变换对比度和尺度变换三种数据增广办法,并且引用基于数学形态学的IKONOS多光谱图像分割技术对多光谱巡检图像进行分割;
(2)卷积神经网络模型中的图像分类网络使用改进后的AlexNet网络,为了使得网络能够适应各种尺寸的图像,将最后一层池化层改为兴趣区域池化层,使得不同尺寸的图像在到全连接层时连接为相同尺寸的特征向量,其中图像分类网络的结构为:
第一层和第二层分别由卷积层加修正线性单元层、池化层和局部响应归一化层组成,第一层的卷积核数量为96,卷积核尺寸为11,步长为4;第二层的卷积核数量为256,卷积核尺寸为5,步长为4,第一层和第二层的池化层的核尺寸均为3,步长均为2,并且局部响应归一化层的局部尺寸均为5;
第三层和第四层均为卷积层加修正线性单元层,卷积核数量均为384,卷积核尺寸均为3;
第五层由卷积层加修正线性单元层和兴趣区域池化层构成,卷积核数量为256,卷积核尺寸为3,兴趣区域池化层的作用是区域划分;
第六层和第七层为全连接层加修正线性单元层加丢弃层;
第八层为一个全连接层;
(3)卷积神经网络模型中的区域生成网络中,候选区域的代价函数计算如下式所示:
式中,pi是分类网络对该区域为前景或后景的置信度,为前后景真实标签,若为1则表示该区域真实为前景,后项计入计算,否则为后景,后项不计入计算;ti为标记图像区域位置和尺寸的四维向量,为真实物体方框的区域位置和尺寸;用来描述网络计算分类置信度和真实类别的误差,本方法用真实分类u对应的概率计算;如下式所示:
式中,g为smooth L1损失函数,对异常值不敏感,如下式所示:
得到区域生成网络后,将它和图像分类网络连接在一起,再用区域生成网络产生的候选区域通过兴趣区域池化层训练图像分类网络,对于基础特征提取网络,首先用ImageNet训练得到初始参数W0,再用巡检图像数据对网络参数细调,具体的调节方法如下:
(1)以W0为初始化参数,先训练区域生成网络,用区域生成网络提取原数据集中的候选区域;
(2)以W0为初始化参数,用第(1)步产生的候选区域训练图像分类网络,产生的参数记为W1;
(3)以W1为初始参数训练,重新训练区域生成网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811590807.XA CN109784205B (zh) | 2018-12-25 | 2018-12-25 | 一种基于多光谱巡检图像的杂草智能识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811590807.XA CN109784205B (zh) | 2018-12-25 | 2018-12-25 | 一种基于多光谱巡检图像的杂草智能识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109784205A CN109784205A (zh) | 2019-05-21 |
CN109784205B true CN109784205B (zh) | 2021-02-23 |
Family
ID=66498295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811590807.XA Active CN109784205B (zh) | 2018-12-25 | 2018-12-25 | 一种基于多光谱巡检图像的杂草智能识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109784205B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110866931B (zh) * | 2019-11-18 | 2022-11-01 | 东声(苏州)智能科技有限公司 | 图像分割模型训练方法及基于分类的强化图像分割方法 |
CN111523423B (zh) * | 2020-04-15 | 2023-08-08 | 四川赛康智能科技股份有限公司 | 一种电力设备识别方法及装置 |
CN111553258B (zh) * | 2020-04-26 | 2023-06-13 | 江苏大学 | 一种利用卷积神经网络的茶园识别除草方法 |
CN113240697B (zh) * | 2021-05-13 | 2022-10-18 | 安徽大学 | 一种生菜多光谱图像前景分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274451A (zh) * | 2017-05-17 | 2017-10-20 | 北京工业大学 | 基于共享卷积神经网络的绝缘子检测方法及装置 |
CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
-
2018
- 2018-12-25 CN CN201811590807.XA patent/CN109784205B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109784205A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109784205B (zh) | 一种基于多光谱巡检图像的杂草智能识别方法 | |
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
CN111401384B (zh) | 一种变电设备缺陷图像匹配方法 | |
CN111899172A (zh) | 一种面向遥感应用场景的车辆目标检测方法 | |
CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN110428424B (zh) | 基于深度学习的雷达回波图像高压线分割方法 | |
Wang et al. | MCF3D: Multi-stage complementary fusion for multi-sensor 3D object detection | |
CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
CN113011308A (zh) | 一种引入注意力机制的行人检测方法 | |
CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
CN115240072A (zh) | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 | |
CN116681979A (zh) | 一种复杂环境下的电力设备目标检测方法 | |
Liao et al. | Lr-cnn: Local-aware region cnn for vehicle detection in aerial imagery | |
CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
Barroso-Laguna et al. | Scalenet: A shallow architecture for scale estimation | |
CN114299382A (zh) | 高光谱遥感图像分类方法及系统 | |
CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
CN116630828B (zh) | 基于地形环境适配的无人机遥感信息采集系统及方法 | |
Ouzounis et al. | Interactive collection of training samples from the max-tree structure | |
CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及系统 | |
WO2023222643A1 (en) | Method for image segmentation matching | |
CN106650629A (zh) | 一种基于核稀疏表示的快速遥感目标检测识别方法 | |
CN111046861B (zh) | 识别红外影像的方法、构建识别模型的方法及应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |