CN115019200A - 一种基于样本不平衡的松材线虫病树智能识别方法 - Google Patents
一种基于样本不平衡的松材线虫病树智能识别方法 Download PDFInfo
- Publication number
- CN115019200A CN115019200A CN202210548613.3A CN202210548613A CN115019200A CN 115019200 A CN115019200 A CN 115019200A CN 202210548613 A CN202210548613 A CN 202210548613A CN 115019200 A CN115019200 A CN 115019200A
- Authority
- CN
- China
- Prior art keywords
- feature map
- disease tree
- feature
- image
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 92
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 92
- 241000243771 Bursaphelenchus xylophilus Species 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002776 aggregation Effects 0.000 claims abstract description 40
- 238000004220 aggregation Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000009191 jumping Effects 0.000 claims abstract description 22
- 238000011835 investigation Methods 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000005520 cutting process Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003704 image resize Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 7
- 235000011613 Pinus brutia Nutrition 0.000 description 7
- 241000018646 Pinus brutia Species 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000243770 Bursaphelenchus Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007918 pathogenicity Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于样本不平衡的松材线虫病树智能识别方法，包括以下步骤：步骤1：通过无人机获取遥感影像，对遥感影像进行预处理，并对影像中病树进行标注，制作成数据集；步骤2：将数据集输入无锚框跳跃聚合中心点网络中进行训练，得到松材线虫病树识别模型；步骤3：将需要识别的带有经纬度坐标信息的无人机影像输入到识别模型中，得到病树识别结果；步骤4：将识别出的病树坐标信息转换成经纬度坐标，根据经纬度坐标对松材线虫病树进行实地勘察治理。
Description
技术领域
本发明涉及目标检测技术领域，具体涉及一种基于样本不平衡的松材线虫病树智能识别方法
背景技术
松材线虫病是松树的一种毁灭性病害，具有极强的传染性和致病性，被称为松树癌症，是目前世界范围内最具危险性、毁灭性的林区疫情之一。
自1982年被人们发现时便迅速蔓延，对大片的松林构成了毁灭性威胁。它具有传播途径多种多样、发病部位较隐蔽难以发现、病情潜伏时间长难以提前察觉、发病速度迅速、治理不方便等特点。树木针叶颜色逐渐变成黄色或者褐色是被感染松树的表面症状，而红褐色的针叶是重病时期松树。为了防治松材线虫对森林资源的伤害，必须及时清理死树或者染上疾病的松树。松材线虫病的出现将会给国家带来巨大的经济损失以及对森林的生态产生一定的破坏。防疫工作迫在眉睫，及时发现并处置松材线虫病树是阻断疫情扩散的重要手段。
目前，对松材线虫病树的监测主要是以人工实地巡检以及通过无人机影像巡检为主，存在成本过高，不确定因素过多等情况。因此，为满足管理部门对松材线虫病害防治大范围、快速识别、高精度定位的应用需求，找出一种快速、高效、低成本的识别方法迫在眉睫。
利用无人机遥感影像对林区进行监测应用广泛。深度学习方法由于其强大的特征提取能力，近年来不断与遥感技术结合解决各行业问题。基于深度学习的目标检测算法因其速度快、准确度高的特点而逐渐广泛应用于森林监测领域，如R-CNN系列、YOLO系列等目标检测算法。与传统的人工实地巡检和无人机巡检相比，深度学习模型具有较强的表现能力，多尺度问题上的特征提取和时间效率上的优势。由于患病的松树会出现针叶黄褐、红褐色等颜色变换特征，近两年研究者开始将深度学习算法运用到异常变色木的识别中，汪晨等人开始将深度学习方法与无人机遥感影像相结合，对松材线虫病树进行检测。但是他们的研究存在以下问题：其一，数据来源范围小，样本量太少，样本的代表性覆盖不全，特征提取不够充分，模型对其他来源病树数据测试效果差，不能推广到其他数据集中测试；其二，基于anchor的目标检测算法对松材线虫数据正负样本选取存在不平衡问题，影响模型识别精度。
因此，针对上述松材线虫病树检测中存在样本量少、样本的代表性覆盖不全、松材线虫病树特征提取不够充分、以及基于anchor检测算法在松材线虫病树数据集中对正负样本选取策略的存在不平衡的问题。构建一个高效，拥有良好推广效果的松材线虫病树识别算法显得至关重要。
本发明通过构建无锚框跳跃聚合中心点网络模型，缓解了正负样本选取不平衡以及特征提取不充分的问题；通过混合数据增强技术对样本中小尺度病树样本、影像偏暗病树样本、颜色偏黄病树样本进行数据扩充，解决样本的代表性不平衡的问题，实现对多源松材线虫病树的智能识别。
发明内容
本发明的目的是为了解决传统特征融合中一般采用相邻特征图融合，丢失了部分距本层特征图更远的特征图的信息而导致的整体松材线虫病树特征提取不够充分的问题；和松材线虫病树训练样本代表性不平衡所导致训练出来的模型只提取到部分特性病树的特征，从而使得模型无法拟合需要识别的所有的病树特征，致使松材线虫病树漏检的问题；以及基于锚框的目标检测网络对松材线虫病树的正负样本采样不平衡导致的模型训练效率低和检测精度低的问题，而提出的无锚框跳跃聚合中心点网络来对松材线虫病树进行特征提取的方法。
一种基于样本不平衡的松材线虫病树智能识别方法，包括以下步骤：
步骤1：获取遥感影像，对影像进行预处理，并对影像中病树进行标注，制作成数据集；
步骤2：将数据集输入到网络中进行训练，得到松材线虫病树识别模型；
步骤3：将需要识别的带有经纬度坐标信息的无人机影像输入到识别模型中，得到病树识别结果；
步骤4：将识别出的病树坐标信息转换成经纬度坐标，根据经纬度坐标对松材线虫病树进行人工实地勘察治理。
在步骤2中，将制作的数据集输入到无锚框跳跃聚合中心点网络中进行训练，得到松材线虫病树识别模型，具体包括以下步骤：
2-1：将获取的影像裁剪成若干指定像素的图片，在图片上将病树用矩形框进行标注；
2-2：根据标注的样本，将样本中数量比较少的小尺度病树样本、影像偏暗的病树样本、颜色偏黄的病树样本使用混合增强方法进行数据扩充，将扩充后的样本加入到数据集中，按照一定比例划分成训练集、验证集和测试集；
2-3：构建无锚框跳跃聚合中心点网络模型；
2-4：将制作的数据样本输入到无锚框跳跃聚合中心点网络，进行松材线虫病树特征提取，根据训练过程中的损失值及精度变化情况，在损失值及精度不再波动的情况下提前终止训练，从而避免模型的过拟合。
在步骤2-3中，构建无锚框跳跃聚合中心点网络模型，具体包括以下步骤：
2-3-1：将原图resize成指定大小输入网络，对输入图进行4倍下采样操作得到特征图R1；
将特征图R1经过卷积核进行最大池化下采样操作后再经过残差模块得到特征图R2；
将特征图R2再次进行最大池化下采样操作和残差模块，得到特征图R3；
将特征图R3进行最大池化下采样操作和残差模块，得到特征图R4；
将特征图R4进行最大池化下采样操作和残差模块，得到特征图R5；
2-3-2：将特征图R5通过可变形卷积上采样并与特征图R3进行特征跳跃聚合得到特征图R35；
将特征图R4通过可变形卷积上采样并与特征图R2进行特征跳跃聚合得到特征图R24；
将特征图R3通过可变形卷积上采样并与特征图R1进行特征跳跃聚合得到特征图R13；
将特征图R24通过可变形卷积上采样并与特征图R13进行特征聚合得到特征图R12；
将特征图R2和特征图R35通过可变形卷积上采样与特征图R12进行特征聚合得到特征图R123；
将特征图R3通过可变形卷积上采样与特征图R123进行特征聚合得到特征图R1233；
将特征图R5通过可变形卷积上采样与特征图R1234进行特征聚合得到特征图Rout。
特征图Rout预测模块包含3个分支，具体包括中心点heatmap图分支、中心点offset分支和目标大小(w，h)分支；中心点heatmap图分支包含C(C指类别数)个通道，每一个通道包含一个类别；中心点offset分支用来弥补将池化后的低heatmap上的点映射到原图中所带来的像素误差；目标大小分支用来预测目标矩形框的w与h偏差值(w指预测框的长，h指预测框的宽)。
在进行网络训练时，采用以下损失函数：
Ldet＝γLk+θLsize+(1-θ)Loff
整体损失函数包含3个部分,Lk表示heatmap中心点损失，Lsize表示目标中心点偏移损失，Loff表示目标长宽损失函数。其中γ、θ分别表示中心点损失和中心点位置偏移的超参数，用来控制三部分损失的训练权重；
其中目标heatmap中心点损失如下：
该函数是在Focal Loss的基础上进行了改进，其中的α与β是两个超参数，用来均衡难易样本；Yxyc表示GT值，
表示预测值，N表示关键点的个数；
中心点偏移损失如下：
其中N表示关键点的个数，
表示网络预测的偏移量数值，p表示图像中心点坐标，R表示Heatmap的缩放因子(下采样倍数)，
表示缩放后中心点的近似整数坐标，整个过程利用L1 Loss计算正样本块的偏移损失。
目标长宽损失函数如下：
其中N表示关键点的个数，Sk表示目标的真实尺寸，
表示预测的尺寸，整个过程利用L1 Loss来计算正样本的长宽损失。
在步骤4中，将识别出的松材线虫病树坐标信息转换成经纬度坐标，根据病树经纬度坐标对松材线虫病树进行实地勘察治理。具体包括以下获取步骤：
4-1：将需要识别的无人机影像使用metashape软件进行拼接；
4-2：将拼接后的无人机图裁剪成指定像素大小，经过metashape拼接后裁剪的图将获得经纬度坐标信息；
4-3：将拼接后裁剪图输入训练所得到的模型中进行检测，将识别出的病树在该裁剪图中的坐标信息，换算成经纬度坐标，将病树的经纬度坐标导入到导航软件，根据病树的导航信息进行人工实地勘察以及清理。
与现有技术相比，本发明具有如下技术效果：
首先，传统特征融合一般采用相邻特征图融合的方式，会丢失距离本层特征图更远的更上层特征图的部分特征信息，本发明采用跳跃特征融合的方式，能够达到对更上层特征图的特征信息的有效利用；传统输出特征图一般融合的是融合之后的特征图信息，而本发明的输出特征图不仅融合了做了特征融合之后的特征图，还融合了原始卷积所得的特征图信息，使得模型对图片特征提取的更加充分，提高了模型的鲁棒性；
其次，本发明是一种基于无anchor的目标检测网络模型，基于anchor目标检测网络都是根据anchor和真实框的IOU来确定正负样本，而松材线虫病树中大多数样本图片中只有一个目标，即真实框太少，从而导致训练时正样本采样的更少，负样本采样的更多的问题更加突出，训练出来的松材线虫检测模型鲁棒性差，而跳跃聚合中心点网络模型是基于无anchor的，每一个目标只有一个正样本，通过高斯圆来判断目标，测试时不需要NMS算法。将标注的目标框以高斯核的方式将关键点分布在特征图上，然后再由关键点去生成目标框。这种方法本质上就是把目标检测问题转变成一个关键点估计问题，这样做使得每一个标出来的关键点都是一个应检测出的目标的正样本，就不会像以往预先设置锚框的那些方法一样去处理一些没有目标(背景)的部分，这样计算开销相对的会有所减少，正负样本数目也会相对平衡；
最后，本发明使用混合增强的方法对松材线虫病树中部分具有代表性的但样本量太少的样本进行数据扩充，主要对原图进行色度差的改变来增加样本量，从而使训练样本的分布尽可能地拟合一些太阳光照太强以及比较阴暗的需要识别的病树影像。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的工作流程图；
图2为本发明的训练模型的流程图；
图3为本发明中网络结构图。
具体实施方式
如图1所示,一种基于样本不平衡的松材线虫病树智能识别方法，包括以下步骤：
步骤1：通过无人机获取遥感影像，对影像进行预处理，并对影像中病树进行标注，制作成数据集；
步骤2：将数据集输入到无锚框跳跃聚合中心点网络中进行训练，得到松材线虫病树识别模型；
步骤3：将需要识别的带有经纬度坐标信息的无人机影像输入到识别模型中，得到病树识别结果；
步骤4：将识别出的病树坐标信息转换成经纬度坐标，根据经纬度坐标对松材线虫病树进行人工实地勘察治理。
步骤2中，将制作的数据集输入到无锚框跳跃聚合中心点网络中进行训练，得到松材线虫病树识别模型，具体包括以下步骤：
2-1：将用无人机获取的尺度为1：500的影像裁剪成若干1000*1000像素的图片，使用labelme工具在1000*1000的图片上将病树用矩形框进行标注；
2-2：根据标注的样本，将样本中数量比较少的小尺度病树样本、影像偏暗的病树样本、颜色偏黄的病树样本使用混合增强方法进行数据扩充，将扩充后的样本加入到数据集中，按照8：1：1的比例划分成训练集、验证集和测试集。
2-3：构建无锚框跳跃聚合中心点网络模型；
2-4：将制作的数据样本输入到无锚框跳跃聚合中心点网络，进行松材线虫病树特征提取，根据训练过程中的损失值及精度变化情况，在损失值及精度不再波动的情况下提前终止训练，从而避免模型的过拟合。
在步骤2-3中，构建无锚框跳跃聚合中心点网络模型，具体包括以下步骤：
2-3-1：无锚框跳跃聚合中心点网络首先将原图resize成512*512大小输入网络，对输入图进行4倍下采样操作得到128*128大小特征图R1；将特征图R1经过3*3、步长为2的卷积核进行最大池化2倍下采样操作后再经过一个残差模块(2个3*3的卷积)得到特征图R2；将特征图R2再次进行最大池化下采样操作和残差模块，得到特征图R3；将特征图R3进行最大池化下采样操作和残差模块，得到特征图R4；将特征图R4进行最大池化下采样操作和残差模块，得到特征图R5；
2-3-2：将特征图R5通过3x3的可变形卷积代替普通卷积上采样与特征图R3进行特征跳跃聚合得到特征图R35，将特征图R4通过3x3的可变形卷积上采样与特征图R2进行特征跳跃聚合得到特征图R24，将特征图R3通过3x3的可变形卷积上采样与特征图R1进行特征跳跃聚合得到特征图R13；接着，将特征图R24通过3x3的可变形卷积上采样与特征图R13进行特征聚合得到特征图R12，将特征图R2和特征图R35通过3x3的可变形卷积上采样与特征图R12进行特征聚合得到特征图R123，将特征图R3通过3x3的可变形卷积上采样与特征图R123进行特征聚合得到特征图R1233；将特征图R4通过3x3的可变形卷积上采样与特征图R1233进行特征聚合得到特征图R1234，将特征图R5通过3x3的可变形卷积上采样与特征图R1234进行特征聚合得到特征图Rout。
2-3-3：尺度为128*128的特征图Rout预测模块包含3个分支，具体包括中心点heatmap图分支、中心点offset分支和目标大小(w，h)分支。中心点heatmap图分支包含C个通道，每一个通道包含一个类别；中心点offset分支用来弥补将池化后的低heatmap上的点映射到原图中所带来的像素误差；目标大小分支用来预测目标矩形框的w与h偏差值(w指预测框的长，h指预测框的宽)。
2-3-4：在进行网络训练时，具体采用以下损失函数：
Ldet＝γLk+θLsize+(1-θ)Loff
(γ＝0.5，θ＝0.2)
整体损失函数包含3个部分,Lk表示heatmap中心点损失，Lsize表示目标中心点偏移损失，Loff表示目标长宽损失函数。其中γ、θ分别表示中心点损失和中心点位置偏移的超参数，用来控制三部分损失的训练权重。
其中目标heatmap中心点损失如下：
(其中超参数:α＝2，β＝4)
该函数是在Focal Loss的基础上进行了改进，其中的α与β是两个超参数，用来均衡难易样本；Yxyc表示GT值，
表示预测值，N表示关键点的个数。
中心点偏移损失如下：
其中N表示关键点的个数，
表示网络预测的偏移量数值，p表示图像中心点坐标，R表示Heatmap的缩放因子(下采样倍数)，
表示缩放后中心点的近似整数坐标，整个过程利用L1 Loss计算正样本块的偏移损失。
目标长宽损失函数如下：
其中N表示关键点的个数，Sk表示目标的真实尺寸，
表示预测的尺寸，整个过程利用L1 Loss来计算正样本的长宽损失。
步骤4中，将识别出的松材线虫病树坐标信息转换成经纬度坐标，根据病树经纬度坐标对松材线虫病树进行实地勘察治理。具体包括以下获取步骤：
4-1：将需要识别的无人机影像使用metashape软件进行拼接；
4-2：将拼接后的无人机图裁剪成1000*1000像素大小，经过metashape拼接后裁剪的1000*1000的图将获得经纬度坐标信息；
4-3：将1000*1000的拼接后裁剪图输入训练所得到的模型中进行检测，将识别出的病树在该裁剪图中的坐标信息，换算成经纬度坐标，将病树的经纬度坐标导入到导航软件，根据病树的导航信息进行人工实地勘察以及清理。
实施例：
本发明是在无人机影像上，使用基于无锚框跳跃聚合中心点目标检测网络对松材线虫病树进行特征提取并识别的一种基于样本不平衡的松材线虫病树智能识别方法。按照以下方式进行：
步骤1：获取无人机影像，将其中一部分影像进行裁剪成1000*1000大小的图片，使用labelme工具标注出病树样本，对其中小尺度病树样本、影像偏暗的病树样本、颜色偏黄的病树样本使用混合增强的方法进行数据扩充，按照一定比例制作成训练集、验证集、测试集。
步骤2：将数据集输入到构建好的跳跃聚合中心点网络进行特征提取并获得识别模型，如图2所示：
首先将图片resize成512*512大小输入网络模型，对输入图进行四倍下采样操作得到128*128的特征图R1；再将128*128的特征图依次进行4次2倍下采样操作得到大小为64*64、32*32、16*16、8*8的特征图R2、R3、R4、R5。将特征图R5跳跃特征图R4与特征图R3进行特征聚合操作，特征图R4与特征图R2跳跃进行特征聚合操作,特征图R3与特征图R1跳跃进行特征聚合操作，最后输出的是融合了4次2倍下采样操作的特征图和三次跳跃聚合特征图的128*128的预测特征图Rout。
其中预测模块包含3个分支，具体包括中心点heatmap图分支、中心点offset分支和目标大小(w,h)分支。heatmap图分支包含C个通道，每一个通道包含一个类别；中心点offset分支用来弥补将池化后的低heatmap上的点映射到原图中所带来的像素误差；目标大小分支用来预测目标矩形框的w与h偏差值。
步骤3：将需要识别的影像图进行拼接操作，以获得每个像素点的位置信息，再将拼接后的图片裁剪成与训练样本相同的大小，输入到训练得到的识别模型中，具体包括以下步骤：
首先将输入图片缩放到512*512大小；
然后对输入图片执行下采样，并对下采样后的图像执行预测，即在128*128大小的heatmap上执行预测；
然后在128*128大小的heatmap图上面采用一个3*3大小的最大池化操作来获取heatmap中满足条件的关键点，即所识别的病树中心点；
最后根据confidence阈值来过滤出最终的检测结果。
步骤4：将识别出的病树坐标信息转换成经纬度坐标，将病树经纬度坐标导入到导航软件中，根据病树导航信息，人工实地勘察并清理松材线虫病树。
Claims (6)
1.一种基于样本不平衡的松材线虫病树智能识别方法，包括以下步骤：
步骤1：获取遥感影像，对影像进行预处理，并对影像中病树进行标注，制作成数据集；
步骤2：将数据集输入到网络中进行训练，得到松材线虫病树识别模型；
步骤3：将需要识别的带有经纬度坐标信息的无人机影像输入到识别模型中，得到病树识别结果；
步骤4：将识别出的病树坐标信息转换成经纬度坐标，根据经纬度坐标对松材线虫病树进行人工实地勘察治理。
2.根据权利要求书1所述的方法，其特征在于，在步骤2中，将制作的数据集输入到无锚框跳跃聚合中心点网络中进行训练，得到松材线虫病树识别模型，具体包括以下步骤：
2-1：将获取的影像裁剪成若干指定像素的图片，在图片上将病树用矩形框进行标注；
2-2：根据标注的样本，将样本中数量比较少的小尺度病树样本、影像偏暗的病树样本、颜色偏黄的病树样本使用混合增强方法进行数据扩充，将扩充后的样本加入到数据集中，按照一定比例划分成训练集、验证集和测试集；
2-3：构建无锚框跳跃聚合中心点网络模型；
2-4：将制作的数据样本输入到无锚框跳跃聚合中心点网络，进行松材线虫病树特征提取，根据训练过程中的损失值及精度变化情况，在损失值及精度不再波动的情况下提前终止训练，从而避免模型的过拟合。
3.根据权利要求2所述的方法，其特征在于，
在步骤2-3中，构建无锚框跳跃聚合中心点网络模型，具体包括以下步骤：
2-3-1：将原图resize成指定大小输入网络，对输入图进行下采样操作得到特征图R1；
将特征图R1经过卷积核进行最大池化下采样操作后再经过残差模块得到特征图R2；
将特征图R2再次进行最大池化下采样操作和残差模块，得到特征图R3；
将特征图R3进行最大池化下采样操作和残差模块，得到特征图R4；
将特征图R4进行最大池化下采样操作和残差模块，得到特征图R5；
2-3-2：将特征图R5通过可变形卷积上采样并与特征图R3进行特征跳跃聚合得到特征图R35；
将特征图R4通过可变形卷积上采样并与特征图R2进行特征跳跃聚合得到R24；
将特征图R3通过可变形卷积上采样并与特征图R1进行特征跳跃聚合得到R13；
将特征图R24通过可变形卷积上采样并与特征图R13进行特征聚合得到特征图R12；
将特征图R2和特征图R35通过可变形卷积上采样与特征图R12进行特征聚合得到特征图R123；
将特征图R3通过可变形卷积上采样与特征图R123进行特征聚合得到R1233；
将特征图R4通过可变形卷积上采样与特征图R1233进行特征聚合得到R1234；
将特征图R5通过可变形卷积上采样与R1234进行特征聚合得到特征图Rout。
4.根据权利要求3所述的方法，其特征在于，
特征图Rout预测模块包含3个分支，具体包括中心点heatmap图分支、中心点offset分支和目标大小(w，h)分支；中心点heatmap图分支包含C个通道，每一个通道包含一个类别；中心点offset分支用来弥补将池化后的低heatmap上的点映射到原图中所带来的像素误差；目标大小分支用来预测目标矩形框的w与h偏差值，w指预测框的长，h指预测框的宽。
5.根据权利要求3或4所述的方法，其特征在于，
在进行网络训练时，采用以下损失函数：
Ldet＝γLk+θLsize+(1-θ)Loff
整体损失函数包含3个部分,Lk表示heatmap中心点损失，Lsize表示目标中心点偏移损失，Loff表示目标长宽损失函数，其中γ、θ分别表示中心点损失和中心点位置偏移的超参数，用来控制三部分损失的训练权重；
其中目标heatmap中心点损失如下：
该函数是在FocalLoss的基础上进行了改进，其中的α与β是两个超参数，用来均衡难易样本；Yxyc表示GT值，
表示预测值，N表示关键点的个数；
中心点偏移损失如下：
其中N表示关键点的个数，
表示网络预测的偏移量数值，p表示图像中心点坐标，R表示heatmap的缩放因子(下采样倍数)，
表示缩放后中心点的近似整数坐标，整个过程利用L1 Loss计算正样本块的偏移损失；
目标长宽损失函数如下：
其中N表示关键点的个数，Sk表示目标的真实尺寸，
表示预测的尺寸，整个过程利用L1 Loss来计算正样本的长宽损失。
6.根据权利要求书1所述的方法，其特征在于，在步骤4中，将识别出的松材线虫病树坐标信息转换成经纬度坐标，根据病树经纬度坐标对松材线虫病树进行实地勘察治理，具体包括以下获取步骤：
4-1：将需要识别的无人机影像使用metashape软件进行拼接；
4-2：将拼接后的无人机图裁剪成指定像素大小，经过metashape拼接后裁剪的图将获得经纬度坐标信息；
4-3：将拼接后裁剪图输入训练所得到的模型中进行检测，将识别出的病树在该裁剪图中的坐标信息，换算成经纬度坐标，将病树的经纬度坐标导入到导航软件，根据病树的导航信息进行人工实地勘察以及清理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548613.3A CN115019200B (zh) | 2022-05-20 | 2022-05-20 | 一种基于样本不平衡的松材线虫病树智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210548613.3A CN115019200B (zh) | 2022-05-20 | 2022-05-20 | 一种基于样本不平衡的松材线虫病树智能识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115019200A true CN115019200A (zh) | 2022-09-06 |
| CN115019200B CN115019200B (zh) | 2024-10-18 |
Family
ID=83069963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210548613.3A Active CN115019200B (zh) | 2022-05-20 | 2022-05-20 | 一种基于样本不平衡的松材线虫病树智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115019200B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912476A (zh) * | 2023-07-05 | 2023-10-20 | 农芯(南京)智慧农业研究院有限公司 | 松材线虫病无人机遥感监测快速定位方法及相关装置 |
| CN117649608A (zh) * | 2024-01-29 | 2024-03-05 | 阿坝州林业和草原科学技术研究所 | 基于遥感监测的松材线虫病识别系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770577A (zh) * | 2010-01-18 | 2010-07-07 | 浙江林学院 | 无人机航片松材线虫病病死木的膨胀-剔除信息提取法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
-
2022
- 2022-05-20 CN CN202210548613.3A patent/CN115019200B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770577A (zh) * | 2010-01-18 | 2010-07-07 | 浙江林学院 | 无人机航片松材线虫病病死木的膨胀-剔除信息提取法 |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 武红敢;牟晓伟;杨清钰;王成波;: "无人机遥感技术在重庆市沙坪坝区松材线虫病监测中的应用", 林业资源管理, no. 02, 27 May 2019 (2019-05-27) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912476A (zh) * | 2023-07-05 | 2023-10-20 | 农芯(南京)智慧农业研究院有限公司 | 松材线虫病无人机遥感监测快速定位方法及相关装置 |
| CN116912476B (zh) * | 2023-07-05 | 2024-05-31 | 农芯(南京)智慧农业研究院有限公司 | 松材线虫病无人机遥感监测快速定位方法及相关装置 |
| CN117649608A (zh) * | 2024-01-29 | 2024-03-05 | 阿坝州林业和草原科学技术研究所 | 基于遥感监测的松材线虫病识别系统及方法 |
| CN117649608B (zh) * | 2024-01-29 | 2024-03-29 | 阿坝州林业和草原科学技术研究所 | 基于遥感监测的松材线虫病识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115019200B (zh) | 2024-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| JP6612196B2 (ja) | 岩盤強度判定装置、岩盤強度判定方法、及び岩盤強度判定プログラム | |
| CN109146889B (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
| CN115019200A (zh) | 一种基于样本不平衡的松材线虫病树智能识别方法 | |
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN110458201B (zh) | 一种遥感影像面向对象分类方法及分类装置 | |
| CN105740894A (zh) | 一种高光谱遥感图像的语义标注方法 | |
| CN111414954B (zh) | 一种岩石图像检索方法及其系统 | |
| Liu et al. | Multilayer cascade screening strategy for semi-supervised change detection in hyperspectral images | |
| CN107818303A (zh) | 无人机油气管线影像自动对比分析方法、系统及软件存储器 | |
| CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
| CN116258967B (zh) | 一种基于改进SNUNet-CD的城市违建变化检测方法 | |
| CN110348342A (zh) | 一种基于全卷积网络的管道病害图像分割方法 | |
| CN115147727A (zh) | 一种遥感影像不透水面提取方法及系统 | |
| CN117496345A (zh) | 一种基于CVCUnet的多地形多波段耕地的提取方法 | |
| CN114119630B (zh) | 基于耦合图谱特征的海岸线深度学习遥感提取方法 | |
| CN110807400A (zh) | 基于孪生网络的崩塌隐患特征信息提取方法 | |
| CN111881797A (zh) | 滨海湿地植被精细分类方法、装置、设备和存储介质 | |
| Dhanuja et al. | Areca nut disease detection using image processing technology | |
| CN116721385A (zh) | 一种基于机器学习的rgb摄像头数据蓝藻水华监测方法 | |
| KR102416714B1 (ko) | 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법 | |
| CN115471478A (zh) | 一种基于yolov5的松树林病害无人机遥感监测方法 | |
| CN114821370A (zh) | 基于无人机影像与U-Net的单木树冠检测与分割方法 | |
| CN116012708A (zh) | 一种基于遥感影像的塑料温室快速检测方法 | |
| CN113609913B (zh) | 一种基于采样阈值区间加权的松材线虫病树检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |