CN117746266A - 一种基于半监督交互学习的树冠检测方法、装置及介质 - Google Patents
一种基于半监督交互学习的树冠检测方法、装置及介质 Download PDFInfo
- Publication number
- CN117746266A CN117746266A CN202311741091.XA CN202311741091A CN117746266A CN 117746266 A CN117746266 A CN 117746266A CN 202311741091 A CN202311741091 A CN 202311741091A CN 117746266 A CN117746266 A CN 117746266A
- Authority
- CN
- China
- Prior art keywords
- network
- training
- remote sensing
- teacher
- supervised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 129
- 238000012216 screening Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 230000000750 progressive effect Effects 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 1
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于半监督交互学习的树冠检测方法、装置及介质，涉及树冠识别技术领域；本发明通过Teacher网络对Student网络进行预训练，再通过伪样本筛选策略筛选合适的伪样本，利用筛选后的伪样本和已标注训练遥感影像并采用半监督交互学习策略渐进式交换学习的方式进行训练，有效地抑制假阳性检测，在树冠检测上显著地提升了性能。
Description
技术领域
本发明主要涉及树冠识别技术领域，具体涉及一种基于半监督交互学习的树冠检测方法、装置及介质。
背景技术
开展森林中特定种类树冠的识别与统计，对于森林资源管理中的树木健康和资产清查核算等具有重要价值。在地物类型复杂的林地中，很难通过手工设计出合适的特征以达到较好的检测效果，因此，利用深度学习强大的特征学习能力结合遥感数据开展树冠检测成为当前的流行方法，相关工作取得了引人注目的成效。然而在实际应用中，样本集数量有限、样本类型单一、标注成本昂贵。对此，现有技术中使用三维点云数据训练深度学习模型以掌握树冠的总体轮廓，再利用小规模影像样本进行半监督学习下的树冠精确提取。然而，该方法需要引入其他的多源异构数据来弥补小规模样本数据的不足，同样面临其他类型数据标注的高成本问题，而且其包含的噪音和领域信息约束也会导致训练出来的模型泛化能力差，难以灵活应对多种复杂场景下的树冠检测与识别。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种基于半监督交互学习的树冠检测方法、装置及介质。
本发明解决上述技术问题的技术方案如下：一种基于半监督交互学习的树冠检测方法，包括如下步骤：
S1、构建含有树冠图像的训练遥感影像集，所述训练遥感影像集包括已标注训练遥感影像和多个未标注训练遥感影像；
S2、基于YOLOX架构构建具有相同配置的Teacher网络和Student网络；
S3、通过所述已标注训练遥感影像和所述Teacher网络对所述Student网络进行预训练；
S4、通过所述Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选；
通过筛选得到的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，并根据设置的训练轮次K和参数更新阈值σ确定在第i轮训练完成时，是否更新Student网络的骨干网络参数，将第i轮Student网络的所有参数更新到Teacher网络中，当完成所有轮次训练时，得到最优Teacher网络；
S5、将含有树冠图像的待检测遥感影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠检测结果。
本发明解决上述技术问题的另一技术方案如下：一种基于半监督交互学习的树冠检测装置，包括：
遥感影像集构建模块，用于构建含有树冠图像的训练遥感影像集，所述训练遥感影像集包括已标注训练遥感影像和多个未标注训练遥感影像；
初始网络构建模块，用于基于YOLOX架构构建具有相同配置的Teacher网络和Student网络；
预训练模块，用于通过所述已标注训练遥感影像和所述Teacher网络对所述Student网络进行预训练；
优化模块，用于通过所述Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选；
通过筛选得到的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，并根据设置的训练轮次K和参数更新阈值σ确定在第i轮训练完成时，是否更新Student网络的骨干网络参数，将第i轮Student网络的所有参数更新到Teacher网络中，当完成所有轮次训练时，得到最优Teacher网络；
检测模块，用于将含有树冠图像的待检测遥感影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠检测结果。
本发明解决上述技术问题的另一技术方案如下：一种基于半监督交互学习的树冠检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的基于半监督交互学习的树冠检测方法。
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于半监督交互学习的树冠检测装置。
本发明的有益效果是：通过Teacher网络对Student网络进行预训练，再通过伪样本筛选策略筛选合适的伪样本，利用筛选后的伪样本和已标注训练遥感影像并采用半监督交互学习策略渐进式交换学习的方式进行训练，有效地抑制假阳性检测，在树冠检测上显著地提升了性能。
附图说明
图1为本发明实施例提供的树冠检测方法的示意性流程图；
图2为本发明实施例提供的树冠检测方法的原理图；
图3为本发明实施例提供的树冠检测装置的功能模块框图；
图4为本发明实施例提供的模型达到全监督效果需要的样本比例及其最高性能的对比图；
图5为本发明实施例提供的各半监督模型在不同标记样本量时与FF-RCNN的性能差异对比图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1、图2所示，本发明实施例提供的基于半监督交互学习的树冠检测方法，包括如下步骤：
S1、构建含有树冠图像的训练遥感影像集，所述训练遥感影像集包括已标注训练遥感影像和多个未标注训练遥感影像；
S2、基于YOLOX架构构建具有相同配置的Teacher网络和Student网络；
S3、通过所述已标注训练遥感影像和所述Teacher网络对所述Student网络进行预训练；
S4、通过所述Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选；
通过筛选得到的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，并根据设置的训练轮次K和参数更新阈值σ确定在第i轮训练完成时，是否更新Student网络的骨干网络参数，将第i轮Student网络的所有参数更新到Teacher网络中，当完成所有轮次训练时，得到最优Teacher网络；
S5、将含有树冠图像的待检测遥感影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠检测结果。
具体地，本发明实施例中，使用Darknet53作为YOLOX的骨干网络(即Backbone子网)，其参数量适中且检测效果好。
本发明实施例中，通过Teacher网络对Student网络进行预训练，再通过伪样本筛选策略筛选合适的伪样本，利用筛选后的伪样本和已标注训练遥感影像并采用半监督交互学习策略渐进式交换学习的方式进行训练，有效地抑制假阳性检测，在树冠检测上显著地提升了性能。
可选地，所述S3中，通过所述已标注训练遥感影像和所述Teacher网络对所述Student网络进行预训练，具体为：
利用所述Teacher网络对已标注遥感影像进行学习，将学习得到的所述Teacher网络的骨干网络(即Backbone子网)的参数输入所述Student网络的Backbone子网中。
可选地，所述S4，具体为：
S401、基于伪样本筛选策略，通过Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选。同时，通过数据ID删除前期存在的伪样本。
应理解地，在上述第S401步中有放回的采样未标注数据，是因为在交互学习前期Teacher网络和Student网络学习能力欠佳时会得到不少低质量伪样本，通过这种小批量且可能带有重复数据训练的渐进式过程，既能让每次交互学习的效率大大提高，又能在后期的交互学习中利用能力提升后的这两个网络进一步优化(删除重复伪样本或更新伪标签)更多的伪样本，进而又反过来促进网络性能提高。
S402、对筛选得到的伪样本进行强数据增强处理，通过强数据增强处理的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，当第i轮训练结束时，若i小于或等于参数更新阈值σ，则更新Student网络除骨干网络参数之外的参数，若i大于参数更新阈值σ，则更新Student网络中所有参数，即更新Student网络的骨干网络参数以及更新Student网络除骨干网络参数之外的参数。
应理解地，对于Student网络，利用Mixup和CutMix对其筛选得到的伪样本(影像）进行强数据增强处理。
在上述第S402步中，当i≤阈值σ时，Student网络的Backbone的参数固定不变，以尽可能利用预训练阶段监督学习得到较好的特征抽取参数，并尽可能稳定网络性能，让其不会因为样本间的差异而出现较大波动；但当i>阈值σ时，交互学习让Student网络学习到的参数将会愈加符合数据特征分布，Student网络探索特征分布的方向开始较为稳定，这时，利用EMA指数移动平均算法逐渐“解冻”Student网络的骨干网络(即Backbone子网）。
S403、将第i轮Student网络的所有参数更新到Teacher网络中。
S404、判断i是否等于训练轮次K，若是，则结束训练，得到最优Teacher网络；若否，返回S401。
全部训练轮次完成后，取验证性能最高的Teacher网络作为最后可用模型。
现有技术中，绝大部分SSOD方法中的交换学习粒度较粗糙，即Teacher网络和Student网络间的参数更新(交换学习)仅发生l到2次，每次交换学习都是一次性筛选出所有伪样本用于Student网络的训练。这种方式不仅会形成较多低质量的伪样本，导致模型学习到许多负面的噪音信息，交互学习效率低下，也容易让模型的最终性能非常不稳定。
已有伪样本/伪标签筛选机制考虑了对象类别、前景背景和目标边界框的分布信息，以尽可能的筛选出信息丰富且置信度高(后面统称信息力强)的伪样本来提升模型训练精度，但其使用的困难度和信息量等指标仅考虑了以上图像信息的绝对累加量，但当影像出现局部小范围信息力大但整体信息力很弱时候，会引入较多不可靠伪样本(噪声)进而后期的迭代交互训练，从而导致网络模型性能总是在低水平徘徊；此外，树冠类型偏少，一些指标如多样性等的引入，容易造成高质量伪样本遗漏的问题，降低了对树冠特征的认知水平。
基于上述技术问题，本发明实施例中给出了一种伪样本筛选策略，能够从多个未标注训练遥感影像中筛选出高质量的伪样本，以提高Student网络的训练效率和树冠识别率。下面进行具体说明。
可选地，本发明实施例中，引入了平均复杂度(complexity)和平均充分度(sufficiency)2个指标，来衡量哪些伪样本(影像)对于半监督目标检测是重要的，进而利用这些指标来训练Student。
平均复杂度是基于模型预测的概率分布熵来度量的。熵越高，表明模型对其预测的不确定性越高，表明示例的难度越大。同时，在总熵相同时，预测边界框的数量越少，则该样本中单位边界框的复杂度越高。
可选地，所述S401中，基于伪样本筛选策略，通过所述Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选，具体为：
S4011、基于放回概率阈值ζ从多个所述未标注训练遥感影像中抽取bk张未标注影像，其中，K为训练轮次，并对未标注影像进行弱数据增强处理；
S4012、所述Teacher网络基于平均复杂度指标和平均充分度指标对bk张未标注影像进行伪样本筛选，具体为：
所述平均复杂度指标通过所述Teacher网络模型预测标注框的概率分布熵来度量，所述平均复杂度指标为：
其中，为平均复杂度，Nc为对象类别个数，p(ck；bj)为Teacher网络对第k个类别的预测概率，/>为第i张样本中预测出的边界框个数；
这样，就可根据Teacher网络的预测不确定性来判断影像是否适用于后续的半监督训练。
在目标检测中，更丰富的信息意味着图像中出现了更多的视觉概念，因此模型可以学习到更多目标特征布局模式。为此，使用平均充分度(Sufficiency)来衡量这个指标。
具体地，所述平均充分度指标通过所述Teacher网络模型的目标特征布局模式来度量，所述平均充分度指标为：
其中，为平均充分度，conf(bj)和conf(cj)分别为Teacher网络预测的第j个边界框中的最高置信度分数及其相应类别的最高置信度分数。/>越大，Teacher网络识别的单位物体的确定性越强，说明图像中具有模型感兴趣的信息越多。
S4013、对所述平均复杂度指标和所述平均充分度指标进行归一化融合处理，根据归一化指标值确定所述平均复杂度指标和所述平均充分度指标的采样权重。
应理解地，YOLOX自带了多种数据增强方法用于提升对影像数据潜在模式的理解，符合Teacher和Student网络对伪样本开展数据增强的需求。因此，对于Teacher网络，应用颜色变换(如灰度、亮度、对比度和颜色投射随机抖动)和随机多角度翻转对其输入样本进行弱数据增强处理。对于Student网络，利用Mixup和CutMix对其输入伪样本(即影像)进行强数据增强处理。
本发明实施例中，基于放回概率阈值ζ来抽取bk张未标注影像，避免了现有技术中NMS阈值无法依据实际情况自适应调整容易造成最佳的IOU和预测IOU间不匹配，导致其在小物体、多尺度物体和遮挡物体的检测效果不佳，不利于林区大小不一且互有遮挡的树冠辨识的问题，本发明提高了树冠的辨识度。
可选地，所述S4013中，对所述平均复杂度指标和所述平均充分度指标进行归一化融合处理，具体为：
通过平均复杂度的最大值和最小值以及平均充分度/>的最大值和最小值进行归一化计算，得到归一化指标值；
利用L-p范数融合所述归一化指标值，当范数p＞1时，根据所述平均复杂度指标对应的归一化指标值和所述平均充分度指标对应的归一化指标值的大小确定采样权重。
具体地，(1)对各指标值归一化，防止值范围差异导致个别指标影响过大或过小。
取平均复杂度的最大值和最小值，并取平均充分度/>的最大值和最小值，通过归一化公式分别对平均复杂度/>和平均充分度/>进行计算，得到所述平均复杂度指标对应的归一化值和所述平均充分度指标对应的归一化值，所述归一化公式为：
其中，m∈{com，suf}表示指标类型，即平均复杂度指标或平均充分度指标.和/>分别表示最大值和最小值，即所述平均复杂度/>的最大值和最小值或表示所述平均充分度/>的最大值和最小值，/>表示平均复杂度指标或平均充分度指标；
(2)利用L-p范数融合以上归一化指标值，表示影像的信息力：
其中，||s||p将各指标归一化值转变成单个标量，当范数p＞1时，值较高的指标将获得更多的采样权重。
可选地，交互学习使用两个具有相同配置的检测网络，Teacher和Student。Teacher网络负责伪标签的生成，而Student网络则同时使用正常标签影像和伪标签优化自身参数。
对于Student网络，将强数据增强处理的得到的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，具体为：
定义经预训练的Student网络的优化损失函数为：
其中，和/>分别表示有监督学习损失和无监督学习损失，γ为/>和/>之间权衡的超参数；
有监督学习损失函数由已标注训练遥感影像的分类损失/>和边界框回归组成，已标注训练遥感影像的分类损失/>和边界框回归/>通过已标注训练遥感影像的标签获得；
无监督学习损失由强数据增强处理的伪样本的分类损失/>和边界框回归/>组成，伪样本的分类损失/>和边界框回归/>通过伪样本的伪标签获得。
具体地，由分类损失/>和边界框回归/>的分类损失组成：
的公式为：
其中，xl指的是已标注训练遥感影像，ycls和yloc是它的标签，Nl表示xl的数量。tc是输出遥感影像xi的第c个坐标。对于使用平滑的L-1损失表达边界框回归：
的公式为：
的公式为：
其中，为Teacher网络生成的伪样本的伪标签。
可选地，在半监督训练期间冻结Teacher网络，并通过EMA指数移动平均算法利用Student网络参数更新其参数。
所述将第i轮Student网络的所有参数更新到Teacher网络中，具体为：
通过EMA指数移动平均算法将第i轮Student网络的所有参数更新到Teacher网络中：
其中，θt和θs分别为Teacher网络和Student网络的参数，β为确定参数传递速度的超参数，通常接近1。为了提高伪标签的质量，本发明实施例中采用了非最大抑制方法(NMS，non-maximum suppression)和置信度阈值ρ来过滤重复和不确定的伪标签。
本发明实施例中，能够避免样本不平衡和过拟合问题。
为了进一步提升Student网络性能，在第σ次交互学习(即第i+1轮训练)后，更新Student网络的骨干网络参数，具体为：
通过EMA指数移动平均算法更新Student网络的骨干网络参数：
其中，为Student网络第i轮的骨干网络参数，/>为Student网络第i-1轮的骨干网络参数，K、i＞σ。
而更新Student网络除骨干网络参数之外的参数的方式为，通过训练后的网络参数直接替换Student网络的其他参数即可。
如图3所示，本发明实施例提供的基于半监督交互学习的树冠检测装置，包括：
遥感影像集构建模块，用于构建含有树冠图像的训练遥感影像集，所述训练遥感影像集包括已标注训练遥感影像和多个未标注训练遥感影像；
初始网络构建模块，用于基于YOLOX架构构建具有相同配置的Teacher网络和Student网络；具体地，本发明实施例中，使用Darknet53作为YOLOX的骨干网络(即Backbone子网)，其参数量适中且检测效果好。
预训练模块，用于通过所述已标注训练遥感影像和所述Teacher网络对所述Student网络进行预训练；
优化模块，用于通过所述Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选；
通过筛选得到的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，并根据设置的训练轮次K和参数更新阈值σ确定在第i轮训练完成时，是否更新Student网络的骨干网络参数，将第i轮Student网络的所有参数更新到Teacher网络中，当完成所有轮次训练时，得到最优Teacher网络；
检测模块，用于将含有树冠图像的待检测遥感影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠检测结果。
本发明实施例提供的基于半监督交互学习的树冠检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的基于半监督交互学习的树冠检测方法。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于半监督交互学习的树冠检测方法。
上述基于半监督交互学习的树冠检测方法和计算机可读存储介质，可以参见如上对基于半监督交互学习的树冠检测方法进行具体描述的实施内容及其有益效果，在此不再赘述。
下面通过实验数据说明本发明树冠检测方法及装置的可操作性和优势。
实验过程如下：
利用2022至2023年在某高峰林场的无人机森林监测数据集(后简称数据集)评估本发明(FC-SSOD，Forest Crown Semi-Supervised Object Detection)的方法。该数据集共有9,241张512×512像素的无人机遥感影像样本，每张样本标出了各树冠框。每次模型性能的检验包含3次测试，每次测试将数据集的80％作为训练集，20％作为测试集，3次测试后的性能均值为该检验的最终结果。由于需要观察大量未标注数据对半监督学习模型的影响，训练集被进一步分割为标记集和未标记集，分别采用训练集的2.5％、5％、l0％、20％和40％作为标记集数据进行实验，其余的示例均视为未标记数据，使用测试集进行评估，采用mAP(全局平均准确率）作为模型评价的性能指标。
半监督学习中，先以步骤S2中定义的监督目标对教师网络进行预训练；交互学习总次数K≈200，以让Student网络性能最终不再变化；每次交互学习的放回概率阈值ζ＝50％，采集的未标注影像数bk＝512，其中，50％为已标注影像，50％为经过Teacher网络预测并被筛选出的伪样本，也可按照实际情况调整上述比例；每次交互学习的训练步骤为500～800次；batch-size设置为64，通过随机采样由32张已标记影像和32张未标记影像组成；使用的优化器是SGD，学习速率在前2,000次迭代时从0.001线性增加到0.01。阈值σ＝1O；使用γ＝4作为所有实验的无监督损失，使用β＝0.9996作为EMA权重，使用ρ＝0.75来过滤各阶段的低质量伪标签，将半监督交互学习的迭代次数设置为4；当sinfo≥0.5，伪样本被选取作为半监督交互学习阶段Student网络的输入数据。
实验结果为：
将本发明的FC-SSOD方法与一组最新的先进监督和半监督模型进行比较。其中，现有的FF-RCNN方法(FPN-Faster-RCNN)和YOLOv3方法是林业部门进行树冠识别最常用的模型。
U-Teacher(Unbiased-Teacher)和A-Teacher(Active-Teacher)为当前最先进的2个半监督目标检测模型，它们都使用Faster-RCNN作为基模型。表l为FC-SSOD与其他SSOD方法的性能比较表格，比较结果如表l所示。
表1：
分析可知，在各种已标记数据量情况下，所有半监督目标检测方法的性能都明显优于监督学习。此外，现有提出的Active Teacher的准确率在不同标记数据量下都要比Unbiased Teacher高出约2-5个百分点，而且在标记数量达到40％时，Active Teacher的mAP就已经超过了71％，接近了实用水平，表明前者的半监督学习框架设计更加优良。即便如此，提出的模型FC-SSOD仍然要比Active Teacher具有更强大的树冠识别能力，在不同标注数据量下的平均准确率要比Active Teacher高出2％-7％，特别的，在标记数量达到40％时，FC-SSOD的mAP就已经超过了78％，基本达到了实用水平，并且较最优的全监督学习模型FPN-Faster-RCNN要高出近60％，而次优的Active Teacher比FPN-Faster-RCNN高出约45％，本发明的方法要提升了30％。
全监督性能下的样本量比较。在实际应用中，更受关注的是实现全监督性能所需的最小标记数据量。利用(100％)全训练集采用FPN-Faster-RCNN监督学习得到的最高mAP为0.91，而YOLOv3的为0.88。据此，测试了Unbiased-Teacher、Active Teacher和本发明的FC-SSOD在多少数据量时其mAAP能达到0.91，也测试了它们各自的性能极限，结果如图4所示。分析可知，本发明提出的FC-SSOD使用的样本最少，仅使用59％的训练集，就能达到的全监督学习的性能0.9l；此外，其能达到的最优性能0.92也超过了其他模型，这也说明本发明对基网络(模型)的改进是有效的。而其他两个半监督学习模型Unbiased-Teacher、ActiveTeacher使用的基模型都是Faster-RCNN，在样本充分情况下，他们达到的最佳性能要稍微低于FPN-Faster-RCNN。
不同AP指标的比较。表分别给出了在5％、10％、20％标记数据上我的模型与最先进的Unbiased-Teacher、Active Teacher半监督目标检测模型在更多指标上的性能增益比较情况，如图5所示，图中数值表示与FF-RCNN在相应标记数据量上的指标差异。
其中，AP50/75是指平均精度AP(Average Precision)在IoU阈值为0.5/0.75时的值；APr是指AP在所有IoU阈值下的平均值。分析可知，本发明提出的FC-SSOD在各类标记数据量上的性能增益都明显超过了其他两个先进的模型，所创新交互学习方法和伪样本筛选策略能显著改善树冠提取的性能。实验结果不仅表明FC-SSOD相对于当前STOA方法的优越性能，它还能以更少的标签代价实现100％的监督性能。
本发明通过Teacher网络对Student网络进行预训练，再通过伪样本筛选策略筛选合适的伪样本，利用筛选后的伪样本和已标注训练遥感影像并采用半监督交互学习策略渐进式交换学习的方式进行训练，有效地抑制假阳性检测，在树冠检测上显著地提升了性能。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于半监督交互学习的树冠检测方法，其特征在于，包括如下步骤：
S1、构建含有树冠图像的训练遥感影像集，所述训练遥感影像集包括已标注训练遥感影像和多个未标注训练遥感影像；
S2、基于YOLOX架构构建具有相同配置的Teacher网络和Student网络；
S3、通过所述已标注训练遥感影像和所述Teacher网络对所述Student网络进行预训练；
S4、通过所述Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选；
通过筛选得到的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，并根据设置的训练轮次K和参数更新阈值σ确定在第i轮训练完成时，是否更新Student网络的骨干网络参数，将第i轮Student网络的所有参数更新到Teacher网络中，当完成所有轮次训练时，得到最优Teacher网络；
S5、将含有树冠图像的待检测遥感影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠检测结果。
2.根据权利要求1所述的基于半监督交互学习的树冠检测方法，其特征在于，所述S3，具体为：
利用所述Teacher网络对已标注遥感影像进行学习，将学习得到的所述Teacher网络的Backbone子网的参数输入所述Student网络的Backbone子网中。
3.根据权利要求1所述的基于半监督交互学习的树冠检测方法，其特征在于，所述S4，具体为：
S401、基于伪样本筛选策略，通过Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选；
S402、对筛选得到的伪样本进行强数据增强处理，通过强数据增强处理的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，当第i轮训练结束时，若i小于或等于参数更新阈值σ，则更新Student网络除骨干网络参数之外的参数，若i大于参数更新阈值σ，则更新Student网络的骨干网络参数以及更新Student网络除骨干网络参数之外的参数；
S403、将第i轮Student网络的所有参数更新到Teacher网络中；
S404、判断i是否等于训练轮次K，若是，则结束训练，得到最优Teacher网络；若否，返回S401。
4.根据权利要求3所述的基于半监督交互学习的树冠检测方法，其特征在于，所述S401，具体为：
S4011、基于放回概率阈值从多个所述未标注训练遥感影像中抽取bk张未标注影像，其中，K为训练轮次，并对未标注影像进行弱数据增强处理；
S4012、所述Teacher网络基于平均复杂度指标和平均充分度指标对bk张未标注影像进行伪样本筛选，具体为：
所述平均复杂度指标通过所述Teacher网络模型预测标注框的概率分布熵来度量，所述平均复杂度指标为：
其中，为平均复杂度，Nc为对象类别个数，p(ck；bj)为Teacher网络对第k个类别的预测概率，/>为第i张样本中预测出的边界框个数；
所述平均充分度指标通过所述Teacher网络模型的目标特征布局模式来度量，所述平均充分度指标为：
其中，为平均充分度，conf(bj)和conf(cj)分别为Teacher网络预测的第j个边界框中的最高置信度分数及其相应类别的最高置信度分数；
S4013、对所述平均复杂度指标和所述平均充分度指标进行归一化融合处理，根据归一化指标值确定所述平均复杂度指标和所述平均充分度指标的采样权重。
5.根据权利要求4所述的基于半监督交互学习的树冠检测方法，其特征在于，所述S4013中，对所述平均复杂度指标和所述平均充分度指标进行归一化融合处理，具体为：
通过平均复杂度的最大值和最小值以及平均充分度/>的最大值和最小值进行归一化计算，得到归一化指标值；
利用L-p范数融合所述归一化指标值，当范数p>1时，根据所述平均复杂度指标对应的归一化指标值和所述平均充分度指标对应的归一化指标值的大小确定采样权重。
6.根据权利要求3所述的基于半监督交互学习的树冠检测方法，其特征在于，所述S402中，通过强数据增强处理的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，具体为：
定义经预训练的Student网络的优化损失函数为：
其中，和/>分别表示有监督学习损失和无监督学习损失，γ为/>和之间权衡的超参数；
有监督学习损失函数由已标注训练遥感影像的分类损失和边界框回归组成，已标注训练遥感影像的分类损失和边界框回归通过已标注训练遥感影像的标签获得；
无监督学习损失由强数据增强处理的伪样本的分类损失和边界框回归组成，伪样本的分类损失和边界框回归通过伪样本的伪标签获得。
7.根据权利要求3所述的基于半监督交互学习的树冠检测方法，其特征在于，所述S403中，将第i轮Student网络的所有参数更新到Teacher网络中，具体为：
通过EMA指数移动平均算法将第i轮Student网络的所有参数更新到Teacher网络中：
其中，θt和θs分别为Teacher网络和Student网络的参数，β为确定参数传递速度的超参数。
8.根据权利要求3所述的基于半监督交互学习的树冠检测方法，其特征在于，所述S402中，更新Student网络的骨干网络参数，具体为：
通过EMA指数移动平均算法更新Student网络的骨干网络参数：
其中，为Student网络第i轮的骨干网络参数，/>为Student网络第i-1轮的骨干网络参数，K、i＞σ。
9.一种基于半监督交互学习的树冠检测装置，其特征在于，包括：
遥感影像集构建模块，用于构建含有树冠图像的训练遥感影像集，所述训练遥感影像集包括已标注训练遥感影像和多个未标注训练遥感影像；
初始网络构建模块，用于基于YOLOX架构构建具有相同配置的Teacher网络和Student网络；
预训练模块，用于通过所述已标注训练遥感影像和所述Teacher网络对所述Student网络进行预训练；
优化模块，用于通过所述Teacher网络对多个所述未标注训练遥感影像进行伪样本筛选；
通过筛选得到的伪样本和所述已标注训练遥感影像对经预训练的Student网络进行优化训练，并根据设置的训练轮次K和参数更新阈值σ确定在第i轮训练完成时，是否更新Student网络的骨干网络参数，将第i轮Student网络的所有参数更新到Teacher网络中，当完成所有轮次训练时，得到最优Teacher网络；
检测模块，用于将含有树冠图像的待检测遥感影像导入所述最优Teacher网络中，通过所述最优Teacher网络输出树冠检测结果。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至8任一项所述的基于半监督交互学习的树冠检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311741091.XA CN117746266B (zh) | 2023-12-14 | 2023-12-14 | 一种基于半监督交互学习的树冠检测方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311741091.XA CN117746266B (zh) | 2023-12-14 | 2023-12-14 | 一种基于半监督交互学习的树冠检测方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117746266A true CN117746266A (zh) | 2024-03-22 |
| CN117746266B CN117746266B (zh) | 2024-08-06 |
Family
ID=90252092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311741091.XA Active CN117746266B (zh) | 2023-12-14 | 2023-12-14 | 一种基于半监督交互学习的树冠检测方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746266B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115982586A (zh) * | 2023-01-09 | 2023-04-18 | 东南大学 | 针对少样本文本转sql任务流的半监督持续学习方法 |
| CN116523897A (zh) * | 2023-05-26 | 2023-08-01 | 国家海洋环境监测中心 | 一种基于互导学习的半监督浒苔检测方法及系统 |
| CN116563738A (zh) * | 2023-06-08 | 2023-08-08 | 安徽理工大学 | 一种基于不确定性的多阶段引导的小目标半监督学习检测方法 |
| CN116977710A (zh) * | 2023-06-15 | 2023-10-31 | 北京航空航天大学 | 一种遥感图像长尾分布目标半监督检测方法 |
-
2023
- 2023-12-14 CN CN202311741091.XA patent/CN117746266B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115982586A (zh) * | 2023-01-09 | 2023-04-18 | 东南大学 | 针对少样本文本转sql任务流的半监督持续学习方法 |
| CN116523897A (zh) * | 2023-05-26 | 2023-08-01 | 国家海洋环境监测中心 | 一种基于互导学习的半监督浒苔检测方法及系统 |
| CN116563738A (zh) * | 2023-06-08 | 2023-08-08 | 安徽理工大学 | 一种基于不确定性的多阶段引导的小目标半监督学习检测方法 |
| CN116977710A (zh) * | 2023-06-15 | 2023-10-31 | 北京航空航天大学 | 一种遥感图像长尾分布目标半监督检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117746266B (zh) | 2024-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111181939B (zh) | 一种基于集成学习的网络入侵检测方法及装置 | |
| CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
| JP6897749B2 (ja) | 学習方法、学習システム、および学習プログラム | |
| CN112700408A (zh) | 模型训练方法、图像质量评估方法及装置 | |
| CN112819821A (zh) | 一种细胞核图像检测方法 | |
| CN112270671B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN113129335A (zh) | 一种基于孪生网络的视觉跟踪算法及多模板更新策略 | |
| CN115801374A (zh) | 网络入侵数据分类方法、装置、电子设备及存储介质 | |
| CN116451081A (zh) | 数据漂移的检测方法、装置、终端及存储介质 | |
| CN115393666A (zh) | 图像分类中基于原型补全的小样本扩充方法及系统 | |
| CN117409419A (zh) | 图像检测方法、设备及存储介质 | |
| CN117371511A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
| CN117763316A (zh) | 一种基于机器学习的高维数据降维方法及降维系统 | |
| CN115953584B (zh) | 一种具有可学习稀疏性的端到端目标检测方法及系统 | |
| CN115439919B (zh) | 模型更新方法、装置、设备、存储介质及程序产品 | |
| CN117746266B (zh) | 一种基于半监督交互学习的树冠检测方法、装置及介质 | |
| CN111723719B (zh) | 基于类别外部记忆的视频目标检测方法、系统、装置 | |
| CN116958720A (zh) | 目标检测模型的训练方法、目标检测方法、装置及设备 | |
| CN116580272A (zh) | 一种基于模型融合推理的雷达目标分类方法及系统 | |
| CN114022698A (zh) | 一种基于二叉树结构的多标签行为识别方法及装置 | |
| CN112949630A (zh) | 基于边框分级筛选的弱监督目标检测方法 | |
| CN113420824A (zh) | 针对工业视觉应用的预训练数据筛选及训练方法、系统 | |
| CN117710970B (zh) | 基于半监督算法的胚胎细胞多核目标检测方法 | |
| CN118247653A (zh) | 基于恒虚检测与cam的弱监督sar图像目标检测方法 | |
| CN117521673B (zh) | 一种具备分析训练性能的自然语言处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |