CN116385818B - 云检测模型的训练方法、装置及设备 - Google Patents
云检测模型的训练方法、装置及设备 Download PDFInfo
- Publication number
- CN116385818B CN116385818B CN202310117685.7A CN202310117685A CN116385818B CN 116385818 B CN116385818 B CN 116385818B CN 202310117685 A CN202310117685 A CN 202310117685A CN 116385818 B CN116385818 B CN 116385818B
- Authority
- CN
- China
- Prior art keywords
- cloud
- unlabeled
- image
- images
- marked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 236
- 238000012549 training Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000012795 verification Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims description 142
- 238000004364 calculation method Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000011176 pooling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种云检测模型的训练方法、装置及设备，涉及图像处理、深度学习等技术领域，包括：在对云检测模型进行一次半监督学习处理过程中，采用标记样本子集和未标记样本子集对云检测模型进行训练；基于训练后模型参数收敛的云检测模型和标记样本子集，确定K个目标图像；在对K个目标图像进行标记得到K个标签图像之后，将K个目标图像和K个标签图像，增加至标记样本子集；在基于验证集确定模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于增加后的标记样本子集和未标记样本子集，对模型参数收敛的云检测模型进行下一次半监督学习处理。本发明提供的云检测模型的训练方法、装置及设备用于提高对云检测模型的训练效率。
Description
技术领域
本发明涉及图像处理、深度学习等技术领域，尤其涉及一种云检测模型的训练方法、装置及设备。
背景技术
目前，遥感技术能够应用于收获产量估计、土地变化检测和灾害管理等场景中，准确的云检测结果有助于遥感技术的高水平应用。
在相关技术中，通常采用基于深度学习的云检测方法，获得云检测结果。在基于深度学习的云检测方法中，需要通过人工对不同种类的卫星影像进行标注，得到标注数据集，并通过标注数据集，对云检测模型进行训练。然而在实际应用中，不同种类的卫星影像在光谱和空间分辨率等方面存在较大差异，因此通常需要耗费大量人力和时间对不同种类的卫星影像进行标记，从而导致对云检测模型的训练效率较低。
发明内容
本发明提供一种云检测模型的训练方法、装置及设备，用以解决现有技术中需要耗费大量人力和时间对不同种类的卫星影像进行标注，从而导致对云检测模型的训练效率较低的缺陷，实现提高云检测模型的训练效率的目的。
第一方面，本发明提供一种云检测模型的训练方法，包括：
获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；
在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；
在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；
在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；
基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值。
根据本发明提供的一种云检测模型的训练方法，所述基于模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像，包括：
通过所述模型参数收敛的云检测模型，分别对各未标记云图像进行处理，得到所述各未标记云图像中各像素属于云区域的第一概率、所述各像素属于非云区域的第二概率、所述各未标记云图像的第一分割置信度图和第二分割置信度图、各第一分割置信度图对应的第一伪标签图像、各第二分割置信度图对应的第二伪标签图像；
基于所述各未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定所述各未标记云图像的不确定度；
基于所述各未标记云图像的第一分割置信度图和第二分割置信度图、所述各第一分割置信度图对应的第一伪标签图像和所述各第二分割置信度图对应的第二伪标签图像，确定所述各未标记云图像的分歧程度；
基于所述各未标记云图像的不确定度和分歧程度，在所述未标记样本子集中确定多个候选图像；
针对各候选图像，确定所述候选图像与所述各标记云图像之间的相似度；将所述多个候选图像中相似度最小的前K个候选图像，确定为所述K个目标图像。
根据本发明提供的一种云检测模型的训练方法，基于所述未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定所述未标记云图像的不确定度，包括：
通过预设不确定度计算模型，对所述未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率进行处理，得到所述未标记云图像的不确定度；
所述预设不确定度计算模型为：
其中，Uncertaintyimg表示所述未标记云图像的不确定度，img表示所述未标记云图像，pcloud(x,y)表示所述未标记云图像中像素(x,y)属于云区域的第一概率，pclear(x,y)表示所述未标记云图像中像素(x,y)属于非云区域的第二概率。
根据本发明提供的一种云检测模型的训练方法，基于所述未标记云图像的第一分割置信度图和第二分割置信度图、所述第一分割置信度图对应的第一伪标签图像和所述第二分割置信度图对应的第二伪标签图像，确定所述未标记云图像的分歧程度，包括：
通过预设分歧程度计算模型，对所述未标记云图像的第一分割置信度图和第二分割置信度图、所述第一分割置信度图对应的第一伪标签图像和所述第二分割置信度图对应的第二伪标签图像进行处理，得到所述未标记云图像的分歧程度；
所述预设分歧程度计算模型为：
Disagreementimg＝CE(P1,Y2)+CE(P2,Y1)；
其中，Disagreementimg表示所述未标记云图像的分歧程度，CE表示交叉熵损失操作，P1表示所述未标记云图像的第一分割置信度图，P2表示所述未标记云图像的第二分割置信度图，Y1表示所述第一分割置信度图对应的第一伪标签图像，Y2表示所述第二分割置信度图对应的第二伪标签图像。
根据本发明提供的一种云检测模型的训练方法，基于所述各未标记云图像的不确定度和分歧程度，在所述未标记样本子集中确定多个候选图像，包括：
针对所述各未标记云图像，确定所述未标记云图像的分歧程度与预设权重的乘积；将所述乘积与所述未标记云图像的不确定度之和，确定为所述未标记云图像的检测难度；
将所述未标记样本子集中检测难度最大的预设数量个未标记云图像，确定为所述多个候选图像。
根据本发明提供的一种云检测模型的训练方法，所述确定所述候选图像与所述各标记云图像之间的相似度，包括：
通过所述模型参数收敛的云检测模型，对所述候选图像进行处理，得到所述候选图像的第一描述矩阵；
通过所述模型参数收敛的云检测模型，分别对所述各标记云图像进行处理，得到所述各标记云图像的第二描述矩阵；
将所述候选图像的第一描述矩阵与所述各标记云图像的第二描述矩阵之间的余弦相似度，确定为所述候选图像与所述各标记云图像之间的相似度。
第二方面，本发明还提供一种云检测模型的训练装置，包括：
获取模块，用于获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；
训练模块，用于在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；
确定模块，用于在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；
添加模块，用于在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；
所述训练模块，还用于基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值。
根据本发明提供的一种云检测模型的训练装置，所述确定模块具体用于：
通过所述模型参数收敛的云检测模型，分别对各未标记云图像进行处理，得到所述各未标记云图像中各像素属于云区域的第一概率、所述各像素属于非云区域的第二概率、所述各未标记云图像的第一分割置信度图和第二分割置信度图、各第一分割置信度图对应的第一伪标签图像、各第二分割置信度图对应的第二伪标签图像；
基于所述各未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定所述各未标记云图像的不确定度；
基于所述各未标记云图像的第一分割置信度图和第二分割置信度图、所述各第一分割置信度图对应的第一伪标签图像和所述各第二分割置信度图对应的第二伪标签图像，确定所述各未标记云图像的分歧程度；
基于所述各未标记云图像的不确定度和分歧程度，在所述未标记样本子集中确定多个候选图像；
针对各候选图像，确定所述候选图像与所述各标记云图像之间的相似度；将所述多个候选图像中相似度最小的前K个候选图像，确定为所述K个目标图像。
根据本发明提供的一种云检测模型的训练装置，所述确定模块具体用于：
通过预设不确定度计算模型，对所述未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率进行处理，得到所述未标记云图像的不确定度；
所述预设不确定度计算模型为：
其中，Uncertaintyimg表示所述未标记云图像的不确定度，img表示所述未标记云图像，pcloud(x,y)表示所述未标记云图像中像素(x,y)属于云区域的第一概率，pclear(x,y)表示所述未标记云图像中像素(x,y)属于非云区域的第二概率。
根据本发明提供的一种云检测模型的训练装置，所述确定模块具体用于：
通过预设分歧程度计算模型，对所述未标记云图像的第一分割置信度图和第二分割置信度图、所述第一分割置信度图对应的第一伪标签图像和所述第二分割置信度图对应的第二伪标签图像进行处理，得到所述未标记云图像的分歧程度；
所述预设分歧程度计算模型为：
Disagreementimg＝CE(P1,Y2)+CE(P2,Y1)；
其中，Disagreementimg表示所述未标记云图像的分歧程度，CE表示交叉熵损失操作，P1表示所述未标记云图像的第一分割置信度图，P2表示所述未标记云图像的第二分割置信度图，Y1表示所述第一分割置信度图对应的第一伪标签图像，Y2表示所述第二分割置信度图对应的第二伪标签图像。
根据本发明提供的一种云检测模型的训练装置，所述确定模块具体用于：
针对所述各未标记云图像，确定所述未标记云图像的分歧程度与预设权重的乘积；将所述乘积与所述未标记云图像的不确定度之和，确定为所述未标记云图像的检测难度；
将所述未标记样本子集中检测难度最大的预设数量个未标记云图像，确定为所述多个候选图像。
根据本发明提供的一种云检测模型的训练装置，所述确定模块具体用于：
通过所述模型参数收敛的云检测模型，对所述候选图像进行处理，得到所述候选图像的第一描述矩阵；
通过所述模型参数收敛的云检测模型，分别对所述各标记云图像进行处理，得到所述各标记云图像的第二描述矩阵；
将所述候选图像的第一描述矩阵与所述各标记云图像的第二描述矩阵之间的余弦相似度，确定为所述候选图像与所述各标记云图像之间的相似度。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种云检测模型的训练方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种云检测模型的训练方法。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种云检测模型的训练方法。
本发明提供的一种云检测模型的训练方法、装置及设备，在一次半监督学习处理的过程中，标记样本子集中标记云图像的总数量小于未标记样本子集中未标记云图像的总数量，因此仅需要通过人工标注少量的云图像，即可形成标记样本子集，减少需要人工标记云图像的数量。进一步地，基于模型参数收敛的云检测模型和所述标记样本子集，从未标记样本子集中筛选出K个信息量大、代表性强和检测难度较大的目标图像，仅对K个目标图像进行人工标记得到K个标签图像，将K个目标图像和K个标签图像增加至标记样本子集中，然后通过增加后的标记样本子集和未标记样本子集对云检测模型进行下一次半监督学习处理，大量减少需要人工标记云图像的数量，节省大量人力和时间，提高对云检测模型的训练效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种应用场景示意图；
图2是本发明提供的云检测模型的训练方法的流程示意图；
图3是本发明提供的在第二数量个未标记云图像中确定K个目标图像的方法流程示意图；
图4是本发明提供的云检测模型的结构示意图；
图5是本发明提供的确定候选图像与各标记云图像之间的相似度的方法流程示意图；
图6是本发明提供的云检测模型的训练装置的结构示意图；
图7是本发明提供的一种电子设备的实体结构示意图；
图8是本发明实施例提供的检测结果的示意图之一；
图9是本发明实施例提供的检测结果的示意图之二；
图10是本发明实施例提供的检测结果的示意图之三；
图11是本发明实施例提供的检测结果的示意图之四。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明中，术语“包括”及其变形可以指非限制性的包括；术语“或”及其变形可以指“和/或”。本发明中术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本发明中，“至少一个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在现有技术中，基于深度学习的云检测方法，需要通过人工对不同种类的卫星影像进行标注，得到标注数据集，并通过标注数据集，对云检测模型进行训练。然而，在实际应用中，同种类的卫星影像在光谱和空间分辨率等方面存在较大差异，因此通常需要耗费大量人力和时间对不同种类的卫星影像进行标注，从而导致对云检测模型的训练效率较低。
为了提升对云检测模型的训练效率，本发明提供了一种云检测模型的训练方法，在该方法中，在未标记样本子集中确定目标图像，仅通过人工对目标图像进行标记，得到目标图像的标签图像，并将目标图像和目标图像的标签图像，增加至标记样本子集中，然后通过标记样本子集对云检测模型进行半监督学习处理，避免耗费大量人力和时间对不同种类的卫星影像进行标注，从而提高对云检测模型的训练效率。
下面对本发明提供的云检测模型的训练方法的一种应用场景进行说明。图1是本发明提供的一种应用场景示意图。如图1所示，该应用场景中包括：样本集、半监督学习处理过程和主动学习处理过程。
样本集包括：训练集和验证集。训练集包括标记样本子集和未标记样本子集。
在一次半监督学习过程中，通过标记样本子集和未标记样本子集，对云检测模型进行训练，得到模型参数收敛的云检测模型。
在主动学习过程中，基于模型参数收敛的云检测模型，在未标记样本子集确定出信息量大、代表性强和检测难度较大的K个目标图像，在对这K个目标图像进行标记以得到K个目标图像的标签图像(即K个标签图像)之后，将目标图像和目标图像的标记图像，增加至标记样本子集中。
在一次半监督学习过程和主动学习过程完成后，在基于验证集，确定模型参数收敛的云检测模型的精度小于预设阈值的情况下，对模型参数收敛的云检测模型进行下一次半监督学习和主动学习处理，直至模型参数收敛的云检测模型的精度大于或等于所述预设阈值。
下面结合图2具体实施例对本发明提供的云检测模型的训练方法进行说明。
图2是本发明提供的云检测模型的训练方法的流程示意图。如图2所示，本实施例提供的云检测模型的训练方法包括：
步骤201、获取训练集和验证集，训练集包括标记样本子集和未标记样本子集，其中，标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，未标记样本子集中包括第二数量个未标记云图像，第一数量小于第二数量，验证集中包括多个标记云图像和各标记云图像的标签图像。
可选地，本发明提供的云检测模型的训练方法，其执行主体可以为电子设备，也可以为设置在电子设备中的云检测模型的训练装置。云检测模型的训练装置可以通过软件和/或硬件的结合来实现。
可选地，对云检测数据集进行图像预处理，得到训练集和验证集。其中，训练集用于训练云检测模型，验证集用于确定模型参数收敛的云检测模型的精度与预设阈值的关系。
可选地，云检测数据集例如为Landsat7云量评估数据集或者Landsat8 Biome生物群落云量评估数据集。其中，Landsat8 Biome生物群落云量评估数据集包括全球范围内96景大小约为7000×7000的代表性图像及其对应的人工生成云掩膜。这些影像均匀分布在九个纬度区域，包括荒地、森林、灌木、草地/农田、雪/冰、城市、湿地和水体等八种不同的下垫面类型，每个下垫面类型包含12景图像。
可选地，图像预处理可以包括如下步骤2011至步骤2013。
步骤2011、针对云检测数据集中的每个图像，将每个图像分割为具有预设尺寸的多个图像，多个图像不重叠；删除多个图像中含有边缘填充像素的图像，将所有剩余图像确定为多个云图像。
每个图像的尺寸例如为7000×7000或8000×8000等。
可选地，预设尺寸可以为256×256或512×512等。
步骤2012、按照预设比例，将多个云图像，划分为训练集和验证集。
可选地，预设比例可以为6:4或7:3等。
在多个云图像的总数量约为12000、预设比例为6:4的情况下，训练集包括7064个云图像，验证集包括5114个云图像。
步骤2013、将训练集中的第一数量个云图像，确定为第一数量个标记云图像；将训练集中的第二数量个云图像，确定为第二数量个未标记云图像；在通过人工分别对第一数量个标记云图像进行标记，得到各标记云图像的标签图像之后，将第一数量个标记云图像和各标记云图像的标签图像，确定为标记样本子集；将第二数量个未标记云图像，确定为未标记样本子集。
例如，若训练集中包括的云图像的总数量为7064，则第一数量可以为564，第二数量可以为6500。
其中，每个标记云图像对应一个标签图像。
步骤202、在对云检测模型进行一次半监督学习处理的过程中，采用标记样本子集和未标记样本子集对云检测模型进行训练，得到模型参数收敛的云检测模型。
可选地，云检测模型包括两个语义分割网络(分别为Net(θ1)、Net(θ2))。语义分割网络例如可以为DeeplabV3+。
可选地，两个语义分割网络的初始化模型参数可以相同或者不同。
在对云检测模型进行一次半监督学习处理的过程中，对云检测模型的训练过程例如包括如下步骤2021至步骤2024。
步骤2021、针对标记样本子集中一个批次内的每个标记云图像，将标记云图像分别输入到Net(θ1)和Net(θ2)中，得到Net(θ1)输出的标记云图像的分割置信度图Net(θ2)输出的标记云图像的分割置信度图/>基于第一预设交叉熵损失模型，得到标记云图像的交叉熵损失。
第一预设交叉熵损失模型为：
其中，表示标记样本子集中一个批次中第i个标记云图像的交叉熵损失，CE表示交叉熵损失操作，/>表示Net(θ1)输出的第i个标记云图像的分割置信度图，/>表示Net(θ2)输出的第i个标记云图像的分割置信度图，labeli表示第i个标记云图像的标签图像。
步骤2022、针对未标记样本子集中一个批次内的每个未标记云图像，将未标记云图像分别输入到Net(θ1)和Net(θ2)，得到Net(θ1)输出的未标记云图像的分割置信度图和伪标签图像/>Net(θ1)输出的未标记云图像的分割置信度图/>和伪标签图像/>基于第二预设交叉熵损失模型，得到未标记云图像的交叉熵损失。
第二预设交叉熵损失模型为：
其中，表示未标记样本子集中一个批次内第j个未标记云图像的交叉熵损失，CE表示交叉熵损失操作，/>表示Net(θ1)输出的第j个未标记云图像的分割置信度图，/>表示Net(θ2)输出的第j个未标记云图像的分割置信度图，/>表示/>对应的伪标签图像，/>表示/>对应的伪标签图像。
步骤2023、通过第一预设模型，对标记样本子集中一个批次内的每个标记云图像的交叉熵损失和未标记样本子集中一个批次内的每个未标记云图像的交叉熵损失进行处理，得到总损失。
第一预设模型为：
其中，Loss表示总损失，表示标记样本子集中一个批次内多个标记云图像的交叉熵损失的平均值，/>表示未标记样本子集中一个批次内多个未标记云图像的交叉熵损失的平均值。
步骤2024、基于总损失，更新云检测模型的模型参数。
在更新后的云检测模型的模型参数不收敛的情况下，重复执行步骤2021至步骤2024，直至得到模型参数收敛的云检测模型。
步骤203、在基于验证集，确定模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于模型参数收敛的云检测模型和标记样本子集，在第二数量个未标记云图像中确定K个目标图像；其中，K个目标图像是与标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数。
可选地，预设阈值可以选定F1分数作为指标，预设阈值的大小可以为93。
具体的，基于验证集，确定模型参数收敛的云检测模型的精度包括如下步骤2031至2033。
步骤2031、将验证集中的标记云图像输入模型参数收敛的云检测模型，得到标记云图像对应的伪标签图像。
步骤2032、确定标记云图像对应的伪标签图像与标记云图像对应的标签图像之间的F1分数。
步骤2033、将F1分数确定为模型参数收敛的云检测模型的精度。
可选地，在主动学习过程A中，基于模型参数收敛的云检测模型和标记样本子集，在未标记样本子集中确定K个目标图像。
可选地，主动学习过程A为：
A＝(C,L,S,Q,U)；
其中，C表示语义分割网络，L表示标记样本子集，S表示对目标图像进行标记以得到目标图像的标签图像的监督者，Q表示在未标记样本子集中确定K个目标图像的操作，U表示未标记样本子集。
具体的，对在未标记样本子集中确定K个目标图像的详细说明，请参见图3实施例。
步骤204、在对K个目标图像进行标记得到K个标签图像之后，将K个目标图像和K个标签图像，增加至标记样本子集。
步骤205、基于增加后的标记样本子集和未标记样本子集，对模型参数收敛的云检测模型进行下一次半监督学习处理，直至模型参数收敛的云检测模型的精度大于或等于预设阈值。
可选地，还可以从未标记样本子集中删除K个目标图像；
基于增加后的标记样本子集和删除后的未标记样本子集，对模型参数收敛的云检测模型进行下一次半监督学习处理，直至模型参数收敛的云检测模型的精度大于或等于预设阈值。
在本发明中，从未标记样本子集中删除K个目标图像，可以避免在下一次半监督学习处理的过程中，由于新确定的K个目标图像和上一次半监督学习处理确定的K个目标图像中存在相同目标图像，导致人工重复标记相同目标图像的问题，节省人工标记成本。
在本发明中，在一次半监督学习处理过程中，标记样本子集中标记云图像的总数量小于未标记样本子集中未标记云图像的总数量，因此仅需要通过人工标注少量的云图像，即可形成标记样本子集，减少需要人工标记云图像的数量。进一步地，基于模型参数收敛的云检测模型和标记样本子集，结合主动学习策略从未标记样本子集中筛选出K个信息量大、代表性强和检测难度较大的目标图像，仅对K个目标图像进行人工标记得到K个标签图像，将K个目标图像和K个标签图像增加至标记样本子集中，然后通过增加后的标记样本子集和未标记样本子集对云检测模型进行下一次半监督学习处理，大量减少需要人工标记云图像的数量，节省大量人力和时间，提高对云检测模型的训练效率。
图3是本发明提供的在第二数量个未标记云图像中确定K个目标图像的方法流程示意图。如图3所示，该方法包括：
步骤301、通过模型参数收敛的云检测模型，分别对未标记样本子集中的各未标记云图像进行处理，得到各未标记云图像中各像素属于云区域的第一概率、各像素属于非云区域的第二概率、各未标记云图像的第一分割置信度图和第二分割置信度图、各第一分割置信度图对应的第一伪标签图像、各第二分割置信度图对应的第二伪标签图像。
在云检测模型包括两个语义分割网络(分别为第一语义分割网络和第二语义分割网络)的情况下，通过第一语义分割网络对未标记云图像进行处理得到第一分割置信度图和第一分割置信度图对应的第一伪标签图像，通过第二语义分割网络对未标记云图像进行处理得到第二分割置信度图和第二分割置信度图对应的第二伪标签图像。需要说明的是，通过第一语义分割网络得到第一分割置信度图的方法，与通过第二语义分割网络得到第二分割置信度图的方法相同。通过第一语义分割网络得到第一伪标签图像的方法，与通过第二语义分割网络得到第二伪标签图像的方法相同。
下面，结合图4，以语义分割网络是DeeplabV3+为例，对得到第一分割置信度图和第一伪标签图像的过程进行说明。
图4是本发明提供的云检测模型的结构示意图，如图4所示，云检测模型中的每个语义分割网络包括：编码单元和解码单元。
其中，编码单元包括：骨干网络、空洞空间卷积池化金字塔(atrous spatialpyramid pooling，ASPP)模块、第一特征联合模块、第一卷积模块。
ASPP模块包括：平均池化层、第一卷积层、第二卷积层、第三卷积层和第四卷积层。其中，第一卷积层为1×1卷积层，第二卷积层为带孔率为6的3×3带孔卷积层，第三卷积层为带孔率为12的3×3带孔卷积层，第四卷积层为带孔率为18的3×3带孔卷积层。
解码单元包括：第一上采样模块、第二特征联合模块、第二卷积模块、第二上采样模块和二值化处理模块。
通过模型参数收敛的云检测模型，分别对未标记样本子集中的各未标记云图像进行处理的工作过程包括如下第一步至第九步。
第一步，将未标记云图像输入模型参数收敛的云检测模型，通过骨干网络对未标记云图像进行特征提取，得到降采样倍数分别为2、4、8和16的特征张量。
第二步，通过平均池化层、第一卷积层、第二卷积层、第三卷积层和第四卷积层，分别对降采样倍数为16的特征张量进行处理，得到平均池化层输出的特征张量、第一卷积层输出的特征张量、第二卷积层输出的特征张量、第三卷积层输出的特征张量和第四卷积层输出的特征张量。
第三步，通过第一特征联合模块，对平均池化层输出的特征张量、第一卷积层输出的特征张量、第二卷积层输出的特征张量、第三卷积层输出的特征张量和第四卷积层输出的特征张量进行拼接，得到第一拼接结果。
第四步，通过第一卷积模块(1×1)，对第一拼接结果的通道数量进行压缩，得到未标记云图像的第一编码特征。
第五步，通过第一上采样模块，对未标记云图像的第一编码特征进行4倍上采样，得到未标记云图像的第二编码特征。
第六步，通过第二特征联合模块，对未标记云图像的第二编码特征和降采样倍数为4的特征张量进行拼接，得到第二拼接结果。
第七步，通过第二卷积模块，对第二拼接结果进行卷积处理，得到未标记云图像的第三编码特征。
第八步，通过第二上采样模块，对未标记云图像的第三编码特征进行上采样处理，得到未标记云图像的第一分割置信度图。
第九步，通过二值化处理模块，对未标记云图像的第一分割置信度图进行二值化处理，得到未标记云图像的第一伪标签图像。
其中，引入三个带孔率不同的带孔卷积，一方面能够在较少参数量的情况下，得到具有大感受野的卷积核，进而提取不同尺度下的特征张量，另一方面能够保持分割置信度图的尺寸，避免多次采样带来的信息丢失，保留更多的位置信息。最后，ASPP模块获得的特征张量经拼接后通过第一卷积模块压缩通道数量。在解码单元中，通过第二特征联合模块，对未标记云图像的第二编码特征和降采样倍数为4的特征张量进行拼接，得到第二拼接结果，兼顾未标记云图像的语义信息和位置信息。
步骤302、基于各未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定各未标记云图像的不确定度。
可选地，通过预设不确定度计算模型，对未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率进行处理，得到未标记云图像的不确定度。
预设不确定度计算模型为：
其中，Uncertaintyimg表示该未标记云图像的不确定度，img表示未标记图像，(x,y)∈img表示属于该未标记图像的像素点(x,y)，pcloud(x,y)表示该未标记云图像中像素点(x,y)是云区域的第一概率，pclear(x,y)表示该未标记云图像中像素点(x,y)是非云区域的第二概率，mean()表示求平均值的操作。
需要说明的是，pcloud(x,y)和pclear(x,y)为第二上采样模块的输出信息，pcloud(x,y)和pclear(x,y)用于组成分割置信度图。
步骤303、基于各未标记云图像的第一分割置信度图和第二分割置信度图、各第一分割置信度图对应的第一伪标签图像和各第二分割置信度图对应的第二伪标签图像，确定各未标记云图像的分歧程度。
可选地，针对每个未标记云图像，通过预设分歧程度计算模型，对未标记云图像的第一分割置信度图和第二分割置信度图、第一分割置信度图对应的第一伪标签图像和第二分割置信度图对应的第二伪标签图像进行处理，得到未标记云图像的分歧程度。
预设分歧程度计算模型为：
Disagreementimg＝CE(P1,Y2)+CE(P2,Y1)；
其中，Disagreementimg表示未标记云图像的分歧程度，CE()表示交叉熵损失操作，P1表示未标记云图像的第一分割置信度图，P2表示未标记云图像的第二分割置信度图，Y1表示第一分割置信度图对应的第一伪标签图像，Y2表示第二分割置信度图对应的第二伪标签图像。
步骤304、基于各未标记云图像的不确定度和分歧程度，在未标记样本子集中确定多个候选图像。
可选地，针对各未标记云图像，确定未标记云图像的分歧程度与预设权重的乘积；将乘积与未标记云图像的不确定度之和，确定为未标记云图像的检测难度；将未标记样本子集中检测难度最大的预设数量个未标记云图像，确定为多个候选图像。
可选地，可以通过如下第二预设模型，得到未标记云图像的检测难度：
Dimg＝Uncertaintyimg+λ×Disagreementimg；
其中，Dimg表示未标记云图像的检测难度，Uncertaintyimg表示未标记云图像的不确定度，Disagreementimg表示未标记云图像的分歧程度，λ表示预设权重。
可选地，λ可以为0.9、1.0或1.1等。
可选地，预设数量可以为5、6或10等。
步骤305、针对各候选图像，确定候选图像与各标记云图像之间的相似度；将多个候选图像中相似度最小的前K个候选图像，确定为K个目标图像。
可选地，K可以为3、4或5等。
在图3实施例中，确定未标记云图像的不确定度、未标记云图像的分歧程度和候选图像与各标记云图像之间的相似度；并基于不确定度、分歧程度和相似度，从未标记样本子集中筛选出的K个目标图像，使得K个目标图像具有信息量大、代表性强和检测难度较大的特点，保障K个目标图像为最具标记价值的样本。
进一步地，通过人工对最具标记价值的K个目标图像进行标记，得到K个标签图像，并基于增加K个目标图像和K个标签图像的标记样本子集和未标记样本子集对云检测模型进行训练，提升了得到的云检测模型的准确性。
在上述实施例的基础上，下面结合图5对确定候选图像与各标记云图像之间的相似度进行详细说明。
图5是本发明提供的确定候选图像与各标记云图像之间的相似度的方法流程示意图。如图5所示，该方法包括：
步骤501、通过模型参数收敛的云检测模型，对候选图像进行处理，得到候选图像的第一描述矩阵。
针对每个候选图像，在将候选图像输入到图4所示的语义分割网络的情况下，第一描述矩阵为图4中第一卷积模块输出的第一编码特征的通道平均值。
步骤502、通过模型参数收敛的云检测模型，分别对各标记云图像进行处理，得到各标记云图像的第二描述矩阵。
针对每个标记云图像，在将标记云图像输入到图4所示的语义分割网络的情况下，第二描述矩阵为图4中第一卷积模块输出的第一编码特征的通道平均值。
步骤503、将候选图像的第一描述矩阵与各标记云图像的第二描述矩阵之间的余弦相似度，确定为候选图像与各标记云图像之间的相似度。
可选地，针对每个标记云图像，可以通过如下第三预设模型，确定候选图像与标记云图像之间的相似度：
S(img1,img2)＝c_s(img1feautre,img2feature)；
其中，S(img1,img2)为候选图像img1与标记云图像img2之间的相似度，c_s(img1feautre,img2feature)为候选图像img1的第一描述矩阵img1feautre与标记云图像img2的第二描述矩阵img2feature之间的余弦相似度。
在本发明中，通过确定候选图像与各标记云图像之间的相似度，可以避免候选图像和标记云图像具有较高的相似性。使得基于多个候选图像得到的K个目标图像和标记云图像具有较低的相似性，保证了标记样本子集中的标记云图像具有多样性，使得K个目标图像具有进行人工标记的高价值和意义。
下面对本发明提供的云检测模型的训练装置进行描述，下文描述的云检测模型的训练装置与上文描述的云检测模型的训练方法可相互对应参照。
图6是本发明提供的云检测模型的训练装置的结构示意图。如图6所示，云检测模型的训练装置包括：
获取模块600，用于获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；
训练模块610，用于在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；
确定模块620，用于在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；
添加模块630，用于在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；
所述训练模块610，还用于基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值。
根据本发明提供的一种云检测模型的训练装置，所述确定模块620具体用于：
通过所述模型参数收敛的云检测模型，分别对各未标记云图像进行处理，得到所述各未标记云图像中各像素属于云区域的第一概率、所述各像素属于非云区域的第二概率、所述各未标记云图像的第一分割置信度图和第二分割置信度图、各第一分割置信度图对应的第一伪标签图像、各第二分割置信度图对应的第二伪标签图像；
基于所述各未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定所述各未标记云图像的不确定度；
基于所述各未标记云图像的第一分割置信度图和第二分割置信度图、所述各第一分割置信度图对应的第一伪标签图像和所述各第二分割置信度图对应的第二伪标签图像，确定所述各未标记云图像的分歧程度；
基于所述各未标记云图像的不确定度和分歧程度，在所述未标记样本子集中确定多个候选图像；
针对各候选图像，确定所述候选图像与所述各标记云图像之间的相似度；将所述多个候选图像中相似度最小的前K个候选图像，确定为所述K个目标图像。
根据本发明提供的一种云检测模型的训练装置，所述确定模块620具体用于：
通过预设不确定度计算模型，对所述未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率进行处理，得到所述未标记云图像的不确定度；
所述预设不确定度计算模型为：
其中，Uncertaintyimg表示所述未标记云图像的不确定度，img表示所述未标记云图像，pcloud(x,y)表示所述未标记云图像中像素(x,y)属于云区域的第一概率，pclear(x,y)表示所述未标记云图像中像素(x,y)属于非云区域的第二概率。
根据本发明提供的一种云检测模型的训练装置，所述确定模块620具体用于：
通过预设分歧程度计算模型，对所述未标记云图像的第一分割置信度图和第二分割置信度图、所述第一分割置信度图对应的第一伪标签图像和所述第二分割置信度图对应的第二伪标签图像进行处理，得到所述未标记云图像的分歧程度；
所述预设分歧程度计算模型为：
Disagreementimg＝CE(P1,Y2)+CE(P2,Y1)；
其中，Disagreeementimg表示所述未标记云图像的分歧程度，CE表示交叉熵损失操作，P1表示所述未标记云图像的第一分割置信度图，P2表示所述未标记云图像的第二分割置信度图，Y1表示所述第一分割置信度图对应的第一伪标签图像，Y2表示所述第二分割置信度图对应的第二伪标签图像。
根据本发明提供的一种云检测模型的训练装置，所述确定模块620具体用于：
针对所述各未标记云图像，确定所述未标记云图像的分歧程度与预设权重的乘积；将所述乘积与所述未标记云图像的不确定度之和，确定为所述未标记云图像的检测难度；
将所述未标记样本子集中检测难度最大的预设数量个未标记云图像，确定为所述多个候选图像。
根据本发明提供的一种云检测模型的训练装置，所述确定模块620具体用于：
通过所述模型参数收敛的云检测模型，对所述候选图像进行处理，得到所述候选图像的第一描述矩阵；
通过所述模型参数收敛的云检测模型，分别对所述各标记云图像进行处理，得到所述各标记云图像的第二描述矩阵；
将所述候选图像的第一描述矩阵与所述各标记云图像的第二描述矩阵之间的余弦相似度，确定为所述候选图像与所述各标记云图像之间的相似度。
图7是本发明提供的一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行云检测模型的训练方法，该方法包括：获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的云检测模型的训练方法，该方法包括：获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的云检测模型的训练方法，该方法包括：获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
需要说明的是，在得到模型参数收敛的云检测模型之后，可以通过其中的一个语义分割网络对待检测云图像进行检测处理，得到待检测云图像对应的检测结果；也可以同时结合两个语义分割网络对待检测云图像进行检测处理，得到待检测云图像对应的检测结果。
图8是本发明实施例提供的检测结果的示意图之一。如图8所示，包括：待检测云图像和待检测云图像对应的检测结果。
待检测云图像为在Landsat8 Biome数据集中下垫面为裸地图像内截取到的子图像。
检测结果为将待检测云图像输入至精度大于或等于预设阈值的云检测模型得到的图像。
通过检测结果可以看出，能够检测到待检测云图像中的大部分云，而且对云边界都有较好的拟合效果。
图9是本发明实施例提供的检测结果的示意图之二。如图9所示，包括：待检测云图像和待检测云图像对应的检测结果。
待检测云图像为在Landsat8 Biome数据集中下垫面为城区图像内截取到的子图像。
检测结果为将待检测云图像输入至精度大于或等于预设阈值的云检测模型得到的图像。
通过检测结果可以看出，能够检测到待检测云图像中的大部分云，而且对厚云和透光薄云都有较好的检测效果。
图10是本发明实施例提供的检测结果的示意图之三。如图10所示，包括：待检测云图像和待检测云图像对应的检测结果。
待检测云图像为在Landsat8 Biome数据集中下垫面为植被图像内截取到的子图像。
检测结果为将待检测云图像输入至精度大于或等于预设阈值的云检测模型得到的图像。
通过检测结果可以看出，能够检测到待检测云图像中的大部分云，而且对植被上空的云层有较好的边缘拟合效果。
图11是本发明实施例提供的检测结果的示意图之四。如图11所示，包括：待检测云图像和待检测云图像对应的检测结果。
待检测云图像为在Landsat8 Biome数据集中下垫面为水体图像内截取到的子图像。
检测结果为将待检测云图像输入至精度大于或等于预设阈值的云检测模型得到的图像。
通过检测结果可以看出，能够检测到待检测云图像中的大部分云，而且对水体上空的碎云也能取得较好的检测效果。
图8至图11涉及的处理平台包括Windows 10、python3.8和pytorch1.4.0。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种云检测模型的训练方法，其特征在于，包括：
获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；
在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；
在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；
在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；
基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值；
所述基于模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像，包括：
通过所述模型参数收敛的云检测模型，分别对各未标记云图像进行处理，得到所述各未标记云图像中各像素属于云区域的第一概率、所述各像素属于非云区域的第二概率、所述各未标记云图像的第一分割置信度图和第二分割置信度图、各第一分割置信度图对应的第一伪标签图像、各第二分割置信度图对应的第二伪标签图像；
基于所述各未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定所述各未标记云图像的不确定度；
基于所述各未标记云图像的第一分割置信度图和第二分割置信度图、所述各第一分割置信度图对应的第一伪标签图像和所述各第二分割置信度图对应的第二伪标签图像，确定所述各未标记云图像的分歧程度；
基于所述各未标记云图像的不确定度和分歧程度，在所述未标记样本子集中确定多个候选图像；
针对各候选图像，确定所述候选图像与所述各标记云图像之间的相似度；将所述多个候选图像中相似度最小的前K个候选图像，确定为所述K个目标图像；
基于所述未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定所述未标记云图像的不确定度，包括：
通过预设不确定度计算模型，对所述未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率进行处理，得到所述未标记云图像的不确定度；
所述预设不确定度计算模型为：
其中，Uncertaintyimg表示所述未标记云图像的不确定度，img表示所述未标记云图像，pcloud(x,y)表示所述未标记云图像中像素(x,y)属于云区域的第一概率，pclear(x,y)表示所述未标记云图像中像素(x,y)属于非云区域的第二概率；
基于所述未标记云图像的第一分割置信度图和第二分割置信度图、所述第一分割置信度图对应的第一伪标签图像和所述第二分割置信度图对应的第二伪标签图像，确定所述未标记云图像的分歧程度，包括：
通过预设分歧程度计算模型，对所述未标记云图像的第一分割置信度图和第二分割置信度图、所述第一分割置信度图对应的第一伪标签图像和所述第二分割置信度图对应的第二伪标签图像进行处理，得到所述未标记云图像的分歧程度；
所述预设分歧程度计算模型为：
Disagreementimg＝CE(P1,Y2)+CE(P2,Y1)；
其中，Disagreementimg表示所述未标记云图像的分歧程度，CE表示交叉熵损失操作，P1表示所述未标记云图像的第一分割置信度图，P2表示所述未标记云图像的第二分割置信度图，Y1表示所述第一分割置信度图对应的第一伪标签图像，Y2表示所述第二分割置信度图对应的第二伪标签图像。
2.根据权利要求1所述的方法，其特征在于，基于所述各未标记云图像的不确定度和分歧程度，在所述未标记样本子集中确定多个候选图像，包括：
针对所述各未标记云图像，确定所述未标记云图像的分歧程度与预设权重的乘积；将所述乘积与所述未标记云图像的不确定度之和，确定为所述未标记云图像的检测难度；
将所述未标记样本子集中检测难度最大的预设数量个未标记云图像，确定为所述多个候选图像。
3.根据权利要求1所述的方法，其特征在于，所述确定所述候选图像与所述各标记云图像之间的相似度，包括：
通过所述模型参数收敛的云检测模型，对所述候选图像进行处理，得到所述候选图像的第一描述矩阵；
通过所述模型参数收敛的云检测模型，分别对所述各标记云图像进行处理，得到所述各标记云图像的第二描述矩阵；
将所述候选图像的第一描述矩阵与所述各标记云图像的第二描述矩阵之间的余弦相似度，确定为所述候选图像与所述各标记云图像之间的相似度。
4.一种云检测模型的训练装置，其特征在于，包括：
获取模块，用于获取训练集和验证集，所述训练集包括标记样本子集和未标记样本子集，其中，所述标记样本子集中包括第一数量个标记云图像和各标记云图像的标签图像，所述未标记样本子集中包括第二数量个未标记云图像，所述第一数量小于所述第二数量，所述验证集中包括多个标记云图像和各标记云图像的标签图像；
训练模块，用于在对所述云检测模型进行一次半监督学习处理的过程中，采用所述标记样本子集和所述未标记样本子集对所述云检测模型进行训练，得到模型参数收敛的云检测模型；
确定模块，用于在基于所述验证集，确定所述模型参数收敛的云检测模型的精度小于预设阈值的情况下，基于所述模型参数收敛的云检测模型和所述标记样本子集，在所述第二数量个未标记云图像中确定K个目标图像；其中，所述K个目标图像是与所述标记样本子集中各标记云图像的相似度最小的前K个图像，K为大于或等于1的整数；
添加模块，用于在对所述K个目标图像进行标记得到K个标签图像之后，将所述K个目标图像和所述K个标签图像，增加至所述标记样本子集；
所述训练模块，还用于基于增加后的标记样本子集和所述未标记样本子集，对所述模型参数收敛的云检测模型进行下一次半监督学习处理，直至所述模型参数收敛的云检测模型的精度大于或等于所述预设阈值；
所述确定模块具体用于：
通过所述模型参数收敛的云检测模型，分别对各未标记云图像进行处理，得到所述各未标记云图像中各像素属于云区域的第一概率、所述各像素属于非云区域的第二概率、所述各未标记云图像的第一分割置信度图和第二分割置信度图、各第一分割置信度图对应的第一伪标签图像、各第二分割置信度图对应的第二伪标签图像；
基于所述各未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率，确定所述各未标记云图像的不确定度；
基于所述各未标记云图像的第一分割置信度图和第二分割置信度图、所述各第一分割置信度图对应的第一伪标签图像和所述各第二分割置信度图对应的第二伪标签图像，确定所述各未标记云图像的分歧程度；
基于所述各未标记云图像的不确定度和分歧程度，在所述未标记样本子集中确定多个候选图像；
针对各候选图像，确定所述候选图像与所述各标记云图像之间的相似度；将所述多个候选图像中相似度最小的前K个候选图像，确定为所述K个目标图像；
所述确定模块具体用于：
通过预设不确定度计算模型，对所述未标记云图像中各像素属于云区域的第一概率和属于非云区域的第二概率进行处理，得到所述未标记云图像的不确定度；
所述预设不确定度计算模型为：
其中，Uncertaintyimg表示所述未标记云图像的不确定度，img表示所述未标记云图像，pcloud(x,y)表示所述未标记云图像中像素(x,y)属于云区域的第一概率，pclear(x,y)表示所述未标记云图像中像素(x,y)属于非云区域的第二概率；
所述确定模块具体用于：
通过预设分歧程度计算模型，对所述未标记云图像的第一分割置信度图和第二分割置信度图、所述第一分割置信度图对应的第一伪标签图像和所述第二分割置信度图对应的第二伪标签图像进行处理，得到所述未标记云图像的分歧程度；
所述预设分歧程度计算模型为：
Disagreementimg＝CE(P1,Y2)+CE(P2,Y1)；
其中，Disagreementimg表示所述未标记云图像的分歧程度，CE表示交叉熵损失操作，P1表示所述未标记云图像的第一分割置信度图，P2表示所述未标记云图像的第二分割置信度图，Y1表示所述第一分割置信度图对应的第一伪标签图像，Y2表示所述第二分割置信度图对应的第二伪标签图像。
5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述云检测模型的训练方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述云检测模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310117685.7A CN116385818B (zh) | 2023-02-09 | 2023-02-09 | 云检测模型的训练方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310117685.7A CN116385818B (zh) | 2023-02-09 | 2023-02-09 | 云检测模型的训练方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385818A CN116385818A (zh) | 2023-07-04 |
| CN116385818B true CN116385818B (zh) | 2023-11-28 |
Family
ID=86975796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310117685.7A Active CN116385818B (zh) | 2023-02-09 | 2023-02-09 | 云检测模型的训练方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385818B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376796A (zh) * | 2018-11-19 | 2019-02-22 | 中山大学 | 基于主动半监督学习的图像分类方法 |
| CN110972499A (zh) * | 2018-07-07 | 2020-04-07 | 初之光信息科技(新加坡)有限公司 | 神经网络的标注系统 |
| CN111160469A (zh) * | 2019-12-30 | 2020-05-15 | 湖南大学 | 一种目标检测系统的主动学习方法 |
| CN112200787A (zh) * | 2020-10-15 | 2021-01-08 | 中国科学院空天信息创新研究院 | 光学遥感影像的云检测方法、存储介质及系统 |
| CN114693986A (zh) * | 2020-12-11 | 2022-07-01 | 华为技术有限公司 | 主动学习模型的训练方法、图像处理方法及装置 |
| CN115393664A (zh) * | 2022-07-28 | 2022-11-25 | 华东师范大学 | 一种用于目标检测的主动学习样本挑选方法 |
| CN115410026A (zh) * | 2022-07-14 | 2022-11-29 | 扬州大学 | 基于标签传播对比半监督学习的图像分类方法与系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11526752B2 (en) * | 2019-02-04 | 2022-12-13 | Google Llc | Systems and methods for active learning |
| GB2584727B (en) * | 2019-06-14 | 2024-02-28 | Vision Semantics Ltd | Optimised machine learning |
| US20210142168A1 (en) * | 2019-11-07 | 2021-05-13 | Nokia Technologies Oy | Methods and apparatuses for training neural networks |
| US11416772B2 (en) * | 2019-12-02 | 2022-08-16 | International Business Machines Corporation | Integrated bottom-up segmentation for semi-supervised image segmentation |
-
2023
- 2023-02-09 CN CN202310117685.7A patent/CN116385818B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110972499A (zh) * | 2018-07-07 | 2020-04-07 | 初之光信息科技(新加坡)有限公司 | 神经网络的标注系统 |
| CN109376796A (zh) * | 2018-11-19 | 2019-02-22 | 中山大学 | 基于主动半监督学习的图像分类方法 |
| CN111160469A (zh) * | 2019-12-30 | 2020-05-15 | 湖南大学 | 一种目标检测系统的主动学习方法 |
| CN112200787A (zh) * | 2020-10-15 | 2021-01-08 | 中国科学院空天信息创新研究院 | 光学遥感影像的云检测方法、存储介质及系统 |
| CN114693986A (zh) * | 2020-12-11 | 2022-07-01 | 华为技术有限公司 | 主动学习模型的训练方法、图像处理方法及装置 |
| CN115410026A (zh) * | 2022-07-14 | 2022-11-29 | 扬州大学 | 基于标签传播对比半监督学习的图像分类方法与系统 |
| CN115393664A (zh) * | 2022-07-28 | 2022-11-25 | 华东师范大学 | 一种用于目标检测的主动学习样本挑选方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于样本选择策略的SAR图像半监督分类算法;王晓昆等;天津理工大学学报(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385818A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738124B (zh) | 基于Gabor变换和注意力的遥感图像云检测方法 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN114092833B (zh) | 遥感图像分类方法、装置、计算机设备和存储介质 | |
| US20220215656A1 (en) | Method, apparatus, device for image processing, and storage medium | |
| Dong et al. | High-resolution land cover mapping through learning with noise correction | |
| CN112966548A (zh) | 一种大豆地块识别方法及系统 | |
| CN112836614B (zh) | 一种基于残差网络和迁移学习的高分遥感图像分类方法 | |
| CN116416626B (zh) | 圆形印章数据的获取方法、装置、设备及存储介质 | |
| CN113128413A (zh) | 一种人脸检测模型训练方法、人脸检测方法及其相关装置 | |
| CN111723814A (zh) | 基于跨图像关联的弱监督图像语义分割方法、系统、装置 | |
| CN114092794A (zh) | 一种海冰图像分类方法、系统、介质、设备及处理终端 | |
| CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN110298366B (zh) | 农作物分布提取方法及装置 | |
| CN115512238A (zh) | 病害区域的确定方法、装置、存储介质及电子装置 | |
| CN112528058B (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
| CN113673369A (zh) | 遥感图像场景规划方法、装置、电子设备和存储介质 | |
| CN116385818B (zh) | 云检测模型的训练方法、装置及设备 | |
| CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
| CN114414090B (zh) | 基于遥感影像和多层感知的地表温度预测方法及系统 | |
| CN113920323B (zh) | 基于语义图注意力网络的不同混乱度高光谱图像分类方法 | |
| CN114120287A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| Hou et al. | Panchromatic image land cover classification via dcnn with updating iteration strategy | |
| CN116704345B (zh) | 植被提取方法、装置、电子设备及存储介质 | |
| CN117496162B (zh) | 一种红外卫星遥感影像薄云去除方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |