CN117746267A - 一种基于半监督主动学习的树冠提取方法、装置及介质 - Google Patents
一种基于半监督主动学习的树冠提取方法、装置及介质 Download PDFInfo
- Publication number
- CN117746267A CN117746267A CN202311741495.9A CN202311741495A CN117746267A CN 117746267 A CN117746267 A CN 117746267A CN 202311741495 A CN202311741495 A CN 202311741495A CN 117746267 A CN117746267 A CN 117746267A
- Authority
- CN
- China
- Prior art keywords
- network
- training
- image
- semi
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000012216 screening Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 4
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000207199 Citrus Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- -1 ccurately Species 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于半监督主动学习的树冠提取方法、装置及介质，涉及树冠识别技术领域；本发明基于伪样本筛选策略，通过Teacher网络筛选出合适的伪样本，利用筛选后的伪样本和已标注训练影像对Student网络进行训练，并采用半监督主动学习将模型参数以传递的方式进行交互学习，递进式地促进网络性能的提升，节约了大量人工标注成本和时间成本。
Description
技术领域
本发明主要涉及树冠识别技术领域，具体涉及一种基于半监督主动学习的树冠提取方法、装置及介质。
背景技术
精确了解果树的冠层结构对于果树生长状态监测、病虫害治理以及精准化管理至关重要。
近年来，为从无人机影像上提取树冠，但在缺少专家知识的情况下面对不同生长状态和不同地理环境下的果树，如柑橘树，很难手工设计出合适的特征。而深度学习强大的特征学习能力以及在视觉领域的成功应用，使其成为基于遥感数据树冠检测的重要技术，且该检测效果较传统方法的树冠检测效果更佳。但是，这些研究所取得的进展更多依赖足够数量的影像样本训练出更强或更快的目标检测器。但在实际应用中，训练集数量有限、样本类型单一、标注成本昂贵。对此，极少数的工作通过多源数据下的半监督学习开展了小样本约束下的树冠提取，但类似研究需要引入其他的多源异构数据来弥补小规模样本数据的不足，数据获取成本攀升，但训练出来的模型泛化能力差，是因为其包含的噪音和领域信息约束导致的，这难以灵活应对多种复杂的果园园林场景下的树冠提取与识别。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种基于半监督主动学习的树冠提取方法、装置及介质。
本发明解决上述技术问题的技术方案如下：一种基于半监督主动学习的树冠提取方法，包括如下步骤：
S1、构建训练影像集，所述训练影像集包括含有树冠信息的多个已标注训练影像和多个未标注训练影像；
S2、通过多个所述已标注训练影像对预构建的Swin-CRCNN模型进行训练，基于训练后的Swin-CRCNN模型构建具有相同配置和模型参数的Teacher网络和Student网络；
S3、通过所述Teacher网络对多个所述未标注训练影像进行伪样本筛选，通过筛选得到的伪样本和多个所述已标注训练影像对所述Student网络进行训练，并将训练后的Student网络的模型参数更新到所述Teacher网络中，得到最优Teacher网络；
S4、将含有树冠信息的待提取影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠提取结果。
本发明解决上述技术问题的另一技术方案如下：一种基于半监督主动学习的树冠提取装置，包括：
影像集构建模块，用于构建训练影像集，所述训练影像集包括含有树冠信息的多个已标注训练影像和多个未标注训练影像；
初始网络构建模块，用于通过多个所述已标注训练影像对预构建的Swin-CRCNN模型进行训练，基于训练后的Swin-CRCNN模型构建具有相同配置和模型参数的Teacher网络和Student网络；
优化模块，用于通过所述Teacher网络对多个所述未标注训练影像进行伪样本筛选，通过筛选得到的伪样本和多个所述已标注训练影像对所述Student网络进行训练，并将训练后的Student网络的模型参数更新到所述Teacher网络中，得到最优Teacher网络；
检测模块，用于将含有树冠信息的待提取影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠提取结果。
本发明解决上述技术问题的另一技术方案如下：一种基于半监督主动学习的树冠提取装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的基于半监督主动学习的树冠提取方法。
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于半监督主动学习的树冠提取方法。
本发明的有益效果是：通过模型参数传递进行交互学习，递进式地促进网络性能的提升，以对影像标注出正确的树冠，以更少的人工标注数据训练出识别网络对影像进行标注，节约了大量人工标注成本和时间成本。
附图说明
图1为本发明实施例提供的Swin-CRCNN模型的架构图；
图2为本发明实施例提供的骨干子网的结构图；
图3为本发明实施例提供的基于半监督主动学习的树冠提取方法的流程图；
图4为本发明实施例提供的基于半监督主动学习的总体框架图；
图5为本发明实施例提供的基于半监督主动学习的树冠提取装置的模块框图；
图6为本发明实施例提供的多种模型达到全监督性能的效果图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
为替换已有SSOD(半监督目标检测)研究中的Faster-RCNN模型，故改进了CascadeR-CNN架构作为Teacher网络和Student网络的配置。Cascade R-CNN架构是一种多阶段目标检测架构，由一系列经过不断提高的IOU阈值的检测器组成。检测器串联进行训练，前一个检测器的输出作为下一个检测器的输入。通过重采样不断提高proposal(方案)质量，达到高质量检测定位的效果。然而，Cascade R-CNN架构的骨干子网主要采用ResNet模块或ResNeXt模块，但它们的特征抽取能力一般，限制了其在稀疏目标树冠和形态较异常(包括遮挡)树冠的识别性能。为此，设计了Swin-CRCNN(Swin transformer Cascade R-CNN)基模型，其利用Swin Transformer模块作为模型中的骨干子网，并在RPN网络后接入3个串行的3×3卷积层，精化高维特征的同时提高分类和边框是生成效率。
如图1所示，Swin-CRCNN基模型分为5层，主要由分区子网、骨干子网、区域生成网络(region proposal network，RPN)、感兴趣区域池化(region-of-interest pooling，ROI-Pooling)和由Softmax多分类器与回归器组成的检测器构成。
模型中的Partition子网(模块)是对输入的遥感影像分块，将其分为4x4的块，并在波段方向对它们展平，然后利用线性嵌入层对每个像素的波段数据做线性变换。
如图2所示，骨干子网主要由4个Swin Transformer block串联构成。SwinTransformer block是一种具有金字塔结构的transformer架构，近来在各种视觉任务上表现出卓越的性能。其分层的金字塔架构则让其具有在各种尺度上建模的灵活性，同时，它通过带有shifted windows(移动窗口)的多头注意力机制计算得到影像的全局表征，这种方式将自注意力的计算限制在不重叠的局部影像块上，并实施跨影像块的特征关联捕获，从而带来更高的计算效率和更好的特征效果，具有比CNN(卷积神经网络)更强的表征能力。这样，模型能高效掌握树冠在更广阔空间上的分布模式，增强了在不同环境、光照、视角倾向条件下目标树冠的识别能力。
Swin-CRCNN基模型的处理流程如下：
在第1层中，分区子网首先将影像分为多个小影像块，它们被输入到SwinTransformer骨干子网提取影像数据的初始特征；然后，RPN网络基于初始特征和NMS算法生成大量锚框，这些锚框特征进过3层卷积的进一步判别和精化，再通过Softmax多分类器判断目标正负样本类别和边框回归器修正得到候选框。对于后面的2-5层，其首先利用ROI池化模块将第一层的骨干子网得到的初始特征与边框信息融合，将尺寸形状不同的特征矩阵归一化为固定大小的特征图，之后的过程与第一层的处理流程几乎一致，不同点在于他们最后的Softmax多分类器将综合上一层的分类信息再预测出本层的最终分类结果。
如图3和图4所示，本发明实施例提供的基于半监督主动学习的树冠提取方法，包括如下步骤：
S1、构建训练影像集，所述训练影像集包括含有树冠信息的多个已标注训练影像和多个未标注训练影像；
S2、通过多个所述已标注训练影像对预构建的Swin-CRCNN模型进行训练，基于训练后的Swin-CRCNN模型构建具有相同配置和模型参数的Teacher网络和Student网络；
S3、通过所述Teacher网络对多个所述未标注训练影像进行伪样本筛选，通过筛选得到的伪样本和多个所述已标注训练影像对所述Student网络进行训练，并将训练后的Student网络的模型参数更新到所述Teacher网络中，得到最优Teacher网络；
S4、将含有树冠信息的待提取影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠提取结果。
具体地，给定一组有标签影像数据(已标注训练影像)和一组无标签影像数据(未标注训练影像)/>其中/>表示示例，/>是标签集，半监督学习的目标是基于有标签和无标签的数据最大化模型性能。
本发明实施例中，通过Swin-CRCNN模型作为主动学习中的基模型，其不仅能捕获长程依赖性得到更高分辨率和更有效的特征图，还采用多个感知器对递增IOU阈值进行多阶段训练，循序渐进的选择最优的IOU阈值，适用于检测多尺度的树冠，在主动学习前增加了一轮新的半监督学习，并在其中设计了新的伪样本采集策略，以利用数量多和信息量大的伪样本提高Student网络的学习能力，来优化自身参数，通过模型参数传递进行交互学习，递进式地促进网络性能的提升，以对影像标注出正确的树冠，以更少的人工标注数据训练出识别网络对影像进行标注，节约了大量人工标注成本和时间成本。其中，IOU阈值为框的交并比，即预测框和真实框的重合程度。
优选地，所述S3，具体为：
S301、通过所述Teacher网络对多个所述未标注训练影像进行预测，得到预测结果，并基于伪样本筛选策略对所述预测结果进行筛选，得到初始伪样本；
通过所述初始伪样本和多个所述已标注训练影像对所述Student网络进行初始训练，并将初始训练后的Student网络的模型参数更新到所述Teacher网络中，得到更新Teacher网络；
S302、对所述初始伪样本进行弱数据增强处理，通过所述更新Teacher网络对弱数据增强处理后的初始伪样本进行预测，得到预测结果，并基于伪样本筛选策略对所述预测结果进行筛选，得到更新伪样本；
对所述更新伪样本进行强数据增强处理，通过强数据增强处理后的更新伪样本和多个所述已标注训练影像对所述初始训练后的Student网络进行更新训练，并将更新训练后的Student网络的模型参数更新到所述更新Teacher网络中；
S303、重复S302直至满足预设训练次数，得到最优Teacher网络。
应理解地，对于Teacher网络，利用随机缩放和随机多角度翻转对其输入样本进行弱数据增强；对于Student网络，利用颜色变换(如灰度、亮度、对比度和颜色投射随机抖动)、随机裁剪、Mixup和CutMix对其输入的伪样本进行强数据增强。
本发明实施例中，由于已标注数据较少，经过初始训练的Student网络和Teacher网络掌握的学习能力非常弱，因此，基于伪样本筛选策略，通过Teacher网络对未标注数据进行筛选，将符合条件的伪样本纳入已标注数据中，数据量较多的伪样本尽可能覆盖了全局数据的特征分布模式，筛选出的辨识难度大的伪样本迫使Student网络更努力寻找目标域与非目标域的差异，从而提升了Student网络和Teacher网络的学习能力。
基于伪样本筛选策略筛选出Teacher网络预测的结果中的伪样本，以提高Student网络的训练效率和树冠识别率。
优选地，所述S301中，基于伪样本筛选策略对所述预测结果进行筛选，得到初始伪样本，具体为：
通过非最大抑制算法NMS和置信度阈值ρ来过滤所述预测结果中不满足预设条件的伪标签；
基于最小边际不确定性指标和平均复杂度指标对过滤后的预测结果进行筛选，具体为：
所述最小边际不确定性指标通过所述过滤后的预测结果的置信度来度量，所述最小边际不确定性指标为：
其中，为最小边际不确定性，conf(cj)为Teacher网络预测的第j个边界框中的最高置信度分数及其相应类别的最高置信度值，conf(cj `)为Teacher网络预测的第j个边界框中的第二高置信度分数及其相应类别的第二高置信度值，/>为第i张影像中过滤后的预测边界框个数；
所述平均复杂度指标通过所述过滤后的预测结果的概率分布熵来度量，所述平均复杂度指标为：
其中，为平均复杂度，Nc为对象类别个数，p(ck；bj)为Teacher网络对第k个类别的预测概率；
对所述最小边际不确定性指标和所述平均复杂度指标进行归一化融合处理，根据归一化指标值计算影像的信息力，并根据得到的影像信息力划分出初始伪样本。
应理解地，采用了非最大抑制算法(NMS，non-maximum suppression)和置信度阈值ρ来过滤重复和不确定的伪标签。网络的能力与其训练的样本的信息量密切相关，确切来说，影像的信息量越大，其不确定性度量值越大。学习网络将通过观察用于训练的样本获得关于分类边界的更多知识。平均复杂度通常是基于模型(网络)预测的概率分布熵来度量的。熵越高，表明模型对其预测的不确定性越高，表明示例(影像)的难度越大。同时，在总熵相同时，预测边界框的数量越少，则该图中单位边界框的复杂度越高。
本发明实施例中，通过边界框的最高置信度与第二高置信度计算出网络预测时的不确定性，再通过计算网络对影像预测的边界框概率，判断网络对复杂度高的影像的预测能力，将不确定性高的影像标注数据划分为伪样本，以得到信息丰度高的伪样本去训练Student网络。
优选地，所述对所述最小边际不确定性指标和所述平均复杂度指标进行归一化融合处理，具体为：
通过最小边际不确定性的最大值和最小值以及平均复杂度/>的最大值和最小值进行归一化计算，得到归一化指标值，所述归一化计算表达式为：
其中，为归一化指标值，m∈{smu，com}为指标类型，/>和/>分别为对应指标的最大值和最小值。
本发明实施例中，数据归一化可以使得网络的收敛速度更快，可以提高网络的稳定性。
优选地，所述根据归一化指标值计算影像的信息力，并根据得到的影像信息力划分出初始伪样本，具体为：
根据归一化指标值计算影像的信息力，得到影像信息力，所述计算影像信息力的表达式为：
其中，为影像信息力，/>为最小边际不确定性归一化指标值，/>为平均复杂度归一化指标值，μ为平衡最小边际不确定性和平均复杂度的权重；
当所述影像信息力小于或等于预设阈值时，将对应的预测标签影像划分为初始伪样本。
本发明实施例中，影像信息力越小，那么分类器对该影像上的个伪标签类别就越不确定，选择这样的伪样本参与Student网络的训练，能让其初始时的辨识能力更强大，进而提升后期半监督主动学习的性能。
优选地，所述通过强数据增强处理后的更新伪样本和多个所述已标注训练影像对所述初始训练后的Student网络进行更新训练，具体为：
定义所述初始训练后的Student网络的优化损失函数为：
其中，和/>分别表示Student网络的有监督学习损失和Teacher网络的无监督学习损失，γ为/>和/>之间权衡的超参数；
有监督学习损失函数由已标注训练影像的分类损失/>和边界框回归组成，已标注训练影像的分类损失/>和边界框回归/>通过已标注影像的标签获得；
无监督学习损失由强数据增强处理后的更新伪样本的分类损失/>组成，强数据增强处理后的更新伪样本的分类损失/>通过更新伪样本的伪标签获得。
具体地，由分类损失/>和边界框回归/>的分类损失组成：
为：
其中，xl指的是带标签影像样本，ycls和yloc是它的标签，Nl表示xl的数量，tc是输出影像xi的第c个坐标；
对于使用平滑的L1损失表达边界框回归：
的公式为：
为：
其中，为Teacher网络生成的伪样本的伪标签。
本发明实施例中，通过模型损失的共同优化和模型参数传递进行交互学习，递进式地促进Student网络和Teacher网络性能的提升。
优选地，所述将更新训练后的Student网络的模型参数更新到所述更新Teacher网络中，具体为：
通过滑动平均算法EMA将更新训练后的Student网络的模型参数更新到所述更新Teacher网络中：
其中，θteacher和θstudent分别为Teacher网络和Student网络的参数，i为第i次训练阶段，β为确定参数传递速度的超参数。
本发明实施例中，在半监督训练期间冻结Teacher网络，并通过指数移动平均算法EMA利用Student网络参数更新Teacher网络的参数。滑动平均算法得到的值在图像上更加平缓光滑，抖动性更小，不会因为某次的异常取值而使得滑动平均值波动很大，使得模型在测试数据上更加正确，有更好的鲁棒性。
如图5所示，本发明实施例提供的一种基于半监督主动学习的树冠提取装置，包括：
影像集构建模块，用于构建训练影像集，所述训练影像集包括含有树冠信息的多个已标注训练影像和多个未标注训练影像；
初始网络构建模块，用于通过多个所述已标注训练影像对预构建的Swin-CRCNN模型进行训练，基于训练后的Swin-CRCNN模型构建具有相同配置和模型参数的Teacher网络和Student网络；
优化模块，用于通过所述Teacher网络对多个所述未标注训练影像进行伪样本筛选，通过筛选得到的伪样本和多个所述已标注训练影像对所述Student网络进行训练，并将训练后的Student网络的模型参数更新到所述Teacher网络中，得到最优Teacher网络；
检测模块，用于将含有树冠信息的待提取影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠提取结果。
本发明实施例提供的一种基于半监督主动学习的树冠提取装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的基于半监督主动学习的树冠提取方法。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于半监督主动学习的树冠提取方法。
上述基于半监督主动学习的树冠提取装置和计算机可读存储介质，可以参见如上对基于半监督主动学习的树冠提取方法进行具体描述的实施内容及其有益效果，在此不再赘述。
下面通过实验数据说明本发明树冠提取方法及装置的可操作性和优势。
实验过程如下：
利用2021年在某林场的无人机森林监测数据集(后简称数据集)评估本发明SSFCD方法。该数据集共有7112张1024×1024像素的无人机遥感影像样本，每张影像标注了绝大部分树木的树冠。每次测试将数据集的80％作为训练集，20％作为测试集。由于需要观察大量未标注数据对半监督学习模型的影响，训练集被进一步分割为标记集和未标记集，分别采用训练集的5％、10％、20％和40％作为标记集数据进行实验，其余的示例均视为未标记数据，使用测试集进行评估，采用mAP(全局平均准确率)作为模型评价的性能指标。
将Swin-CRCNN基模型的IoU阈值设置为[0.4，0.6，0.75，0.8]，首先锚框被送入IoU＝0.4的检测模块中，选取锚框和真实标注框IoU>0.4的锚框，使用边框回归B1调整边框位置，得到第1次目标分类评分和回归器修正后的候选框，接着将得到的候选框送入IoU＝0.6的检测模块中，如果计算得到的IoU>0.6，判定正确检测出目标，同时使用边框回归B2调整边框位置和计算第2次目标分类得分，以此类推，最后输入到IoU＝0.8的检测模块中得到最终边框位置和目标分类得分。
半监督学习中，先以调试中定义的监督目标对教师网络进行预训练，预训练迭代次数为1000次；之后，用教师网络的参数初始化学生网络并持续半监督学习，进而不停让Teacher网络和Student网络相互学习。每次半监督学习的总训练步骤为50000次。使用的优化器是SGD，学习速率在前2000次迭代时从0.001线性增加到0.01，并在41000次-41010次迭代时再除以10。
使用γ＝4作为所有实验的无监督损失，使用β＝0.9996作为EMA权重，使用ρ＝0.75来过滤各阶段的低质量伪标签，将半监督主动学习的迭代次数设置为4；当sinfo≤0.5，伪样本被选取作为半监督主动学习阶段Student网络的输入数据。
对于所有的实验，标签集的一半是随机选择的，另一半是经过半监督学习后主动选择的，batch-size设置为64，通过随机采样由32张已标记影像和32张未标记影像组成。
实验结果为：
将本发明的SSFCD模型与一组最新的先进监督和半监督模型进行比较。其中，FF-RCNN模型和Yolo3模型是树冠识别最常用的模型。
表1为SSFCD与其他SSOD方法的性能比较的表格。I-teaching模型和A-Teacher模型为当前最先进的两个半监督目标检测模型，它们都使用Faster-RCNN模型作为基模型，比较结果如表1所示。
表1：
分析可知，包括SSFCD模型在内的所有半监督目标检测方法的性能都明显优于Yolo3模型和FF-RCNN模型等监督学习方法。本发明的SSFCD模型具有最强的树冠识别能力，在不同标注数据量下的平均准确率要比Active Teacher模型高出2％—7％，特别地，在标注数据占比40％时，SSFCD模型的mAP就已经超过了70％，十分接近实用水平，并且较最优的全监督学习模型FPN-Faster-RCNN模型要高出近23％，而次优的Active Teacher模型比FPN-Faster-RCNN模型高出约16％，本发明方法较其提升了40％以上。此外，ActiveTeacher模型的准确率在不同标记数据量下都要比Instant Teaching模型高出约5-10个百分点，而且在标记数量达到40％时，Active Teacher模型的mAP就已经超过了60％。
全监督性能下的样本量比较。在实际应用中，更受关注的是实现全监督性能所需的最小标记数据量。利用(100％)全训练集采用FPN-Faster-RCNN模型监督学习得到的最高mAP为0.88，而Yolo3的为0.86。据此，测试了Instant-Teaching模型、Active-Teacher模型和本发明的SSFCD模型在多少数据量时其mAP能达到0.88(即100％监督性能)，也测试了它们各自的性能极限。如图6所示，本发明的SSFCD模型仅使用59％的训练数据就达到全监督性能；此外，其能达到的最优性能为0.89也超过了其他模型，这也说明本发明的基模型较FPN-Faster-RCNN模型和Yolo3模型更有效地识别树冠。而其他两个半监督学习模型Instant-Teaching模型、Active-Teacher模型使用的基模型都是Faster-RCNN模型，在样本充分情况下，其它模型达到的最佳性能为0.87，稍微高于Yolo3模型，这也说明两阶段目标检测模型对树冠的识别效果更好。
本发明使用了新的Swin-Transformer作为骨干子网的基模型开展树冠监测；为了提高主动学习模型的稳定性和效果，新增了一个半监督学习阶段，并在其中采用了新的伪样本筛选策略。实验结果不仅表明SSFCD模型对树冠识别的优越性能，而且表明它能以更少的标签代价实现100％的监督性能。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于半监督主动学习的树冠提取方法，其特征在于，包括如下步骤：
S1、构建训练影像集，所述训练影像集包括含有树冠信息的多个已标注训练影像和多个未标注训练影像；
S2、通过多个所述已标注训练影像对预构建的Swin-CRCNN模型进行训练，基于训练后的Swin-CRCNN模型构建具有相同配置和模型参数的Teacher网络和Student网络；
S3、通过所述Teacher网络对多个所述未标注训练影像进行伪样本筛选，通过筛选得到的伪样本和多个所述已标注训练影像对所述Student网络进行训练，并将训练后的Student网络的模型参数更新到所述Teacher网络中，得到最优Teacher网络；
S4、将含有树冠信息的待提取影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠提取结果。
2.根据权利要求1所述的基于半监督主动学习的树冠提取方法，其特征在于，所述S3，具体为：
S301、通过所述Teacher网络对多个所述未标注训练影像进行预测，得到预测结果，并基于伪样本筛选策略对所述预测结果进行筛选，得到初始伪样本；
通过所述初始伪样本和多个所述已标注训练影像对所述Student网络进行初始训练，并将初始训练后的Student网络的模型参数更新到所述Teacher网络中，得到更新Teacher网络；
S302、对所述初始伪样本进行弱数据增强处理，通过所述更新Teacher网络对弱数据增强处理后的初始伪样本进行预测，得到预测结果，并基于伪样本筛选策略对所述预测结果进行筛选，得到更新伪样本；
对所述更新伪样本进行强数据增强处理，通过强数据增强处理后的更新伪样本和多个所述已标注训练影像对所述初始训练后的Student网络进行更新训练，并将更新训练后的Student网络的模型参数更新到所述更新Teacher网络中；
S303、重复S302直至满足预设训练次数，得到最优Teacher网络。
3.根据权利要求2所述的基于半监督主动学习的树冠提取方法，其特征在于，所述S301中，基于伪样本筛选策略对所述预测结果进行筛选，得到初始伪样本，具体为：
通过非最大抑制算法NMS和置信度阈值ρ来过滤所述预测结果中不满足预设条件的伪标签；
基于最小边际不确定性指标和平均复杂度指标对过滤后的预测结果进行筛选，具体为：
所述最小边际不确定性指标通过所述过滤后的预测结果的置信度来度量，所述最小边际不确定性指标为：
其中，为最小边际不确定性，conf(cj)为Teacher网络预测的第j个边界框中的最高置信度分数及其相应类别的最高置信度值，conf(cj `)为Teacher网络预测的第j个边界框中的第二高置信度分数及其相应类别的第二高置信度值，/>为第i张影像中过滤后的预测边界框个数；
所述平均复杂度指标通过所述过滤后的预测结果的概率分布熵来度量，所述平均复杂度指标为：
其中，为平均复杂度，Nc为对象类别个数，p(ck；bj)为Teacher网络对第k个类别的预测概率；
对所述最小边际不确定性指标和所述平均复杂度指标进行归一化融合处理，根据归一化指标值计算影像的信息力，并根据得到的影像信息力划分出初始伪样本。
4.根据权利要求3所述的基于半监督主动学习的树冠提取方法，其特征在于，所述对所述最小边际不确定性指标和所述平均复杂度指标进行归一化融合处理，具体为：
通过最小边际不确定性的最大值和最小值以及平均复杂度/>的最大值和最小值进行归一化计算，得到归一化指标值，所述归一化计算表达式为：
其中，为归一化指标值，m∈{smu，com}为指标类型，/>和/>分别为对应指标的最大值和最小值。
5.根据权利要求3所述的基于半监督主动学习的树冠提取方法，其特征在于，所述根据归一化指标值计算影像的信息力，并根据得到的影像信息力划分出初始伪样本，具体为：
根据归一化指标值计算影像的信息力，得到影像信息力，所述计算影像信息力的表达式为：
其中，为影像信息力，/>为最小边际不确定性归一化指标值，/>为平均复杂度归一化指标值，μ为平衡最小边际不确定性和平均复杂度的权重；
当所述影像信息力小于或等于预设阈值时，将对应的预测标签影像划分为初始伪样本。
6.根据权利要求2所述的基于半监督主动学习的树冠提取方法，其特征在于，所述通过强数据增强处理后的更新伪样本和多个所述已标注训练影像对所述初始训练后的Student网络进行更新训练，具体为：
定义所述初始训练后的Student网络的优化损失函数为：
其中，和/>分别表示Student网络的有监督学习损失和Teacher网络的无监督学习损失，γ为/>和/>之间权衡的超参数；
有监督学习损失函数由已标注训练影像的分类损失和边界框回归组成，已标注训练影像的分类损失和边界框回归通过已标注影像的标签获得；
无监督学习损失由强数据增强处理后的更新伪样本的分类损失组成，强数据增强处理后的更新伪样本的分类损失通过更新伪样本的伪标签获得。
7.根据权利要求2所述的基于半监督主动学习的树冠提取方法，其特征在于，所述将更新训练后的Student网络的模型参数更新到所述更新Teacher网络中，具体为：
通过滑动平均算法EMA将更新训练后的Student网络的模型参数更新到所述更新Teacher网络中：
其中，θteacher和θstudent分别为Teacher网络和Student网络的参数，i为第i次训练阶段，β为确定参数传递速度的超参数。
8.一种基于半监督主动学习的树冠提取装置，其特征在于，包括：
影像集构建模块，用于构建训练影像集，所述训练影像集包括含有树冠信息的多个已标注训练影像和多个未标注训练影像；
初始网络构建模块，用于通过多个所述已标注训练影像对预构建的Swin-CRCNN模型进行训练，基于训练后的Swin-CRCNN模型构建具有相同配置和模型参数的Teacher网络和Student网络；
优化模块，用于通过所述Teacher网络对多个所述未标注训练影像进行伪样本筛选，通过筛选得到的伪样本和多个所述已标注训练影像对所述Student网络进行训练，并将训练后的Student网络的模型参数更新到所述Teacher网络中，得到最优Teacher网络；
检测模块，用于将含有树冠信息的待提取影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠提取结果。
9.一种基于半监督主动学习的树冠提取装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的基于半监督主动学习的树冠提取方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的基于半监督主动学习的树冠提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311741495.9A CN117746267A (zh) | 2023-12-14 | 2023-12-14 | 一种基于半监督主动学习的树冠提取方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311741495.9A CN117746267A (zh) | 2023-12-14 | 2023-12-14 | 一种基于半监督主动学习的树冠提取方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117746267A true CN117746267A (zh) | 2024-03-22 |
Family
ID=90282476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311741495.9A Pending CN117746267A (zh) | 2023-12-14 | 2023-12-14 | 一种基于半监督主动学习的树冠提取方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746267A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882325A (zh) * | 2022-07-12 | 2022-08-09 | 之江实验室 | 基于二阶段物体检测器的半监督物检测及训练方法、装置 |
| CN115019123A (zh) * | 2022-05-20 | 2022-09-06 | 中南大学 | 一种遥感图像场景分类的自蒸馏对比学习方法 |
| CN116563738A (zh) * | 2023-06-08 | 2023-08-08 | 安徽理工大学 | 一种基于不确定性的多阶段引导的小目标半监督学习检测方法 |
| CN116778497A (zh) * | 2022-12-29 | 2023-09-19 | 北京东土拓明科技有限公司 | 一种人手井编号识别方法、装置、计算机设备和存储介质 |
| CN116977710A (zh) * | 2023-06-15 | 2023-10-31 | 北京航空航天大学 | 一种遥感图像长尾分布目标半监督检测方法 |
| CN117036181A (zh) * | 2022-10-24 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN117218133A (zh) * | 2023-07-28 | 2023-12-12 | 东北大学 | 肺图像处理方法及装置、电子设备和存储介质 |
-
2023
- 2023-12-14 CN CN202311741495.9A patent/CN117746267A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019123A (zh) * | 2022-05-20 | 2022-09-06 | 中南大学 | 一种遥感图像场景分类的自蒸馏对比学习方法 |
| CN114882325A (zh) * | 2022-07-12 | 2022-08-09 | 之江实验室 | 基于二阶段物体检测器的半监督物检测及训练方法、装置 |
| CN117036181A (zh) * | 2022-10-24 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN116778497A (zh) * | 2022-12-29 | 2023-09-19 | 北京东土拓明科技有限公司 | 一种人手井编号识别方法、装置、计算机设备和存储介质 |
| CN116563738A (zh) * | 2023-06-08 | 2023-08-08 | 安徽理工大学 | 一种基于不确定性的多阶段引导的小目标半监督学习检测方法 |
| CN116977710A (zh) * | 2023-06-15 | 2023-10-31 | 北京航空航天大学 | 一种遥感图像长尾分布目标半监督检测方法 |
| CN117218133A (zh) * | 2023-07-28 | 2023-12-12 | 东北大学 | 肺图像处理方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110046631B (zh) | 用于自动推断时空图像的变化的系统和方法 | |
| US10984532B2 (en) | Joint deep learning for land cover and land use classification | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN110148120B (zh) | 一种基于cnn与迁移学习的病害智能识别方法及系统 | |
| EP3614308A1 (en) | Joint deep learning for land cover and land use classification | |
| Wang et al. | YOLOv3-Litchi detection method of densely distributed litchi in large vision scenes | |
| Millan et al. | On‐the‐Go Grapevine Yield Estimation Using Image Analysis and Boolean Model | |
| Zhou et al. | A novel greenhouse-based system for the detection and plumpness assessment of strawberry using an improved deep learning technique | |
| CN112418117A (zh) | 一种基于无人机图像的小目标检测方法 | |
| CN111127390B (zh) | 基于迁移学习的x射线影像处理方法及系统 | |
| CN114846507A (zh) | 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统 | |
| CN110874590B (zh) | 基于适配器互学习模型的训练及可见光红外视觉跟踪方法 | |
| CN112819821B (zh) | 一种细胞核图像检测方法 | |
| CN113361326B (zh) | 一种基于计算机视觉目标检测的智慧电厂管控系统 | |
| CN112989942A (zh) | 一种基于交通监控视频的目标实例分割方法 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| Kundur et al. | Deep convolutional neural network architecture for plant seedling classification | |
| CN117253192A (zh) | 用于桑蚕养殖的智能系统及方法 | |
| CN116612386A (zh) | 基于分级检测双任务模型的辣椒病虫害识别方法及系统 | |
| CN116958643A (zh) | 一种基于yolo网络的气传花粉致敏植物智慧识别方法 | |
| Song et al. | Detection of Northern Corn Leaf Blight Disease in Real Environment Using Optimized YOLOv3 | |
| CN117746267A (zh) | 一种基于半监督主动学习的树冠提取方法、装置及介质 | |
| CN115511838A (zh) | 一种基于群智能优化的植物病害高精度识别方法 | |
| Yu | Research progress of crop disease image recognition based on wireless network communication and deep learning | |
| Mayuri et al. | Artificial Neural Network (ANN) With Chan-Vese (CV) Algorithm-Based Plant Disease Detection And Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |