CN115761359A - 一种基于迁移学习和无监督学习方法的光伏图像缺陷分类方法 - Google Patents

Abstract

本发明公开了一种基于迁移学习和无监督学习方法的光伏图像缺陷分类方法。该方法通过在通用图像数据集上得到的预训练模型进行迁移学习，建立初始化缺陷分类模型；然后将采集得到的大量无标签图像通过初始化模型映射到特征空间中，根据特征空间中的L2距离进行聚类并得到对应标签，从而对初始模型不断进行再训练，从而提升光伏图像缺陷分类模型的准确率指标。本发明以海南某光伏电站的采集图像为测试数据，给出了详细的算法描述，设计测例对光伏图像的缺陷分类性能进行评价验证。

Description

一种基于迁移学习和无监督学习方法的光伏图像缺陷分类 方法

技术领域

本发明涉及电力系统缺陷检测领域，具体涉及一种基于迁移学习和无监督学习方法的光伏图像缺陷分类方法。

背景技术

过去几十年来，随着化石燃料向绿色可持续能源供应的转变，全球光伏发电厂的能源产量大幅增加。光伏组件的效率决定了电站的性能，而电站的性能在很大程度上受高温条件的影响。识别光伏组件的早期缺陷是提高光伏电站长期效率和防止光伏组件突然失效的有效且经济的方法。这一领域已经开展了大量研究，通过接触式传感器获得的电信号检测光伏组件中的电气故障。作为一种反应性维护策略，此类检测面临多种挑战，例如部署成本、传感器的错误读取以及其他一些挑战。

自动化系统可以对大型光伏系统进行非破坏性和非接触性检查，以在不中断系统运行的情况下识别视觉缺陷。在这样一个系统的帮助下，可以按顺序及时收集光伏组件的一系列图像，并存储以供进一步处理。然后，可以通过基于深度学习的方法对这些图像进行离线处理，以提取缺陷特征、缺陷图和汇总统计信息。为了进一步提高检测精度和减少人力标注工作，实现基于少标签或无标签的光伏缺陷分类需求已被列入议程。迁移学习作为一种新兴的深度学习范式，减少了模型对于基本特征提取能力的学习，成为实现少标签或无标签的光伏缺陷分类需求的一种很有前景的方法。

此外，数据标注是一个耗时费力的过程，需要领域专家进行手动筛选，并且可能涉及主观判断。如果可以在无需人工干预的情况下自动标注光伏组件缺陷类别，则可以进一步提高检测系统的效率。考虑到所有这些，提出了一种新的方法，将预处理的深度卷积神经网络模型与无监督学习相结合，用于构建我们的缺陷分类系统。

发明内容

针对现有技术存在的不足，本发明目的是提供一种迁移学习和无监督学习方法的光伏图像缺陷分类方法；本发明给出了高效且有创造性的预训练初始化模型方法以及无标签图像样本相似性评价方式，并通过改进k-means算法和伪标签实现对无标签图像的自动标注，最后通过微调预训练模型提升模型拟合能力。

本发明的目的是通过以下技术方案来实现的：一种基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，包括以下步骤：

1)基于ImageNet上的通用图像预训练模型，通过迁移学习建立初始化光伏缺陷分类模型；

2)通过类别示例图像获取初始化光伏缺陷分类模型的特征空间中的初始化类别中心和初始类别间距阈值；

3)采集无标签光伏图像并将其通过初始化光伏缺陷分类模型映射入特征空间；基于改进k-means算法对无标签光伏图像进行类别划分得到伪标签图像集，并进行类别中心和类别间距阈值的更新；

4)根据步骤3)得到的伪标签图像集对初始化光伏缺陷分类模型进行再训练，获得训练好的光伏缺陷分类模型；

5)将待分类的光伏图像输入训练好的光伏缺陷分类模型，完成光伏图像缺陷分类。

作为本发明的优选方案，所述步骤1)具体为：基于ImageNet上的通用图像预训练模型，将其权重参数迁移到深度学习网络，得到初始化光伏缺陷分类模型M_O＝F(x，θ)；其中x为输入的图像，θ为初始化光伏缺陷分类模型的权重参数。

作为本发明的优选方案，所述步骤2)具体为：将包含n种缺陷类别样例的类别示例图像D_n，嵌入到初始化光伏缺陷分类模型的特征空间，得到n个初始类别中心P₀

D_n＝{(x₁,y₁),...,(x_n,y_n)}

p_i＝F(x_i,θ)

P₀＝{(P_i,y_i)}

其中x₁…x_n为n种类别示例图像；y₁…y_n为模型需要识别的n种类型缺陷的标签；θ为初始化光伏缺陷分类模型的权重参数；p_i为类别示例图像x_i在初始化光伏缺陷分类模型M_o特征空间的映射，x_i∈{x₁…x_n}；y_i∈{y₁…y_n}。

根据初始类别中心点的L2距离，得到初始类别间距阈值H₀，其计算方式如下：

其中x_i和x_j为两张不同类别的示例图像。

作为本发明的优选方案，所述步骤3)中具体为：

a)对于采集的无标签光伏图像D_u＝{x₁…x_m}，通过初始化模型M_O得到图像在特征空间的映射点：

p_k＝F(x_k,θ)

其中x_k∈D_u；θ为初始化光伏缺陷分类模型的权重参数；

b)基于改进k-means算法计算映射点p_k到n个初始类别中心P₀的距离并将其分到L2距离最小的初始类别中心所对应的类别中；根据初始类别间距阈值H_O筛选每个映射点p_k是否能够获得该类别的伪标签，若p_k到最近初始类别中心的距离小于等于H_O，则使其获得该标签并将其所代表的无标签光伏图像放入伪标签图像集D_p中，否则仍留于D_u中；

c)基于伪标签图像集D_p，重新计算n种类别的类别中心P：

P＝{(p_n,y_n)}

其中x_k为伪标签图像集D_p中划分为同一标签的图片，p_n为标签y_n对应的第n个类别中心的更新值；

同时将初始类别间距阈值H_O更新为类别间距阈值H：

其中p_i和p_j分别为更新得到的类别i和类别j的类别中心；

d)对于剩余无标签光伏图像D_u重复进行步骤b)和c)的操作，直到满足无标签光伏图像D_u中无样本，或达到最大循环次数。

与现有技术相比，本发明的有益效果为：

(1)本发明创造性地建立了一种基于迁移学习和无监督学习的光伏图像缺陷分类方法，形成了一套对于光伏图像缺陷识别分类模型的低成本高性能的学习范式。首先基于迁移学习方法，通过预训练权重构建初始化模型，减少了模型在光伏图像基础特征提取能力上的学习过程，节省了大量的数据需求和学习时间。同时，对于光伏图像数据标注时间长，专业要求高的问题，使用改进k-means聚类方法实现了光伏图像的自动化高质量标注。从而得到了对于模型缺陷分类性能的进一步提升和光伏图像数据获取成本的进一步控制。

(2)本发明的方法相比于现有的普通深度学习光伏缺陷分类方法，区别在于数据获取成本和模型训练方式不同，普通深度学习光伏缺陷分类方法中为了提升模型的性能往往需要大量有标签的光伏图像，并且需要从零开始长时间训练模型的特征提取能力。而本发明中基于无监督学习的改进k-means算法能够实现对于无标签图像的高质量标注，同时通过迁移预训练权重使模型获得基础特征提取能力。因此本发明采用的方法能够降低数据标注和模型训练成本并提升模型缺陷分类性能。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合具体实施方式对本发明做进一步阐述和说明。所述实施例仅是本公开内容的示范且不圈定限制范围。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

本发明的一种基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，包括以下几个步骤：

1)基于ImageNet上的通用图像预训练模型，通过迁移学习建立初始化光伏缺陷分类模型；

(2)通过类别示例图像获取初始化光伏缺陷分类模型的特征空间中的初始化类别中心和初始类别间距阈值；

(3)采集无标签光伏图像并将其通过初始化光伏缺陷分类模型映射入特征空间，基于改进k-means算法对无标签光伏图像进行类别划分得到伪标签图像并进行类别中心和类别间距阈值的更新。

(4)根据步骤(3)得到的伪标签图像对初始化光伏缺陷分类模型进行再训练，获得训练好的光伏缺陷分类模型；

(5)将待分类的光伏图像输入训练好的光伏缺陷分类模型，完成光伏图像缺陷分类。

在本发明的一项具体实施中，对本发明的各个步骤进行更加具体的说明。

通过在海南某光伏电场采集大量无标签光伏图像数据，共计1128张。根据需要识别的故障类别选择正常、热斑缺陷、接点过热和二极管短路四种类别。并对每个类别选择一张示例图像。

选择EfficientNet-B0作为光伏图像缺陷分类模型框架，将基于ImageNet上的预训练权重参数θ载入模型，迁移到深度学习网络，得到初始化模型M_O＝F(x，θ)，其中x为输入的图像,模型的结构框架如下表所示。

表1EfficientNet-B0网络结构

将4张包含不同缺陷类别样例的类别示例图像集D_n＝{(x₁,y₁),...,(x₄,y₄)}，嵌入初始化特征空间，得到类别中心P₀＝{(p₁,y₁),...,(p₄,y₄)}。其中p_i＝F(x_i,θ)，为图像x_i通过初始化模型M₀在特征空间的映射，y₁,...,y₄为模型需要识别的4种类型缺陷的标签，分别表示正常、热斑缺陷、接点过热和二极管短路四种类别。根据类别中心点L2距离，得到类别间距阈值H₀，其计算方式如下：

其中x_i和x_j为两张不同类别的示例图像。

将采集得到的1128张无标签光伏图像D_u＝{x₁,...,x₁₁₂₈}，通过初始化模型M₀得到图像在特征空间的映射点:

p_k＝F(x_k,θ)

P_u＝{p₁,...,p₁₁₂₈}

其中x_k∈D_u；θ为初始化光伏缺陷分类模型的权重参数。

针对映射点集P_u中每个映射点P_k，计算到4个类别中心P_n的距离并将其分到L2距离最小的类别中心所对应的类中：

根据类别间距阈值H_O筛选每个映射点P_k是否可以获得该类别的伪标签，若P_k到最近类别中心P_i的距离小于等于H_O，则使其获得该标签并放入D_p，否则仍留于D_u中。

基于伪标签图像集D_p，重新计算4种类别的类别中心P：

P＝{(p_n,y_n)}；n∈{1,…,4}

其中x_k为伪标签集D_p中划分为同一标签y_i的图片，p_n为标签y_n对应的第n个类别中心的更新值；

同时也对类别间距阈值H进行更新：

其中p_i和p_j分别为更新得到的类别i和类别j的类别中心；

基于改进k-means算法得到的伪标签图像集D_p，对初始化模型M₀进行训练，得到增强的光伏图像缺陷分类模型M。训练过程以分类交叉熵作为目标损失函数，其计算公式为：

其中y_i表示样本伪代码标签，当样本为第i类时y_i＝1否则y_i＝0；t_i表示模型预测样本属于第i类的概率。在此基础上，对模型中的参数进行梯度传递更新，其计算方式为：

其中W表示模型的权重参数，b表示模型偏移量参数，W⁺表示W的更新量，b⁺表示b的更新量，η表示作为反向传播优化器Adam的学习率，

为目标损失函数的偏导，

为权重参数的偏导，

为偏移量参数的偏导。在此次实施中，使用批次大小为32的Adam优化器对模型进行优化，学习率初始化为0.0005，动量为0.9。我们对模型进行400个周期的训练。

构建测试标签图像集，按照7：3的比例设置350张伪标签图像和150张真实标签图像组成测试集，并通过精确率(Precision)、召回率(Recall)和准确率(Accuracy验证说明模型性能提升，三个指标的计算方式如下：

其中：TP为伪标签图像划分正确的个数；FP为真实标签图像划分正确的个数；FN为伪标签图像样本划分错误的个数；TN为真实标签图像划分错误的个数

由此得到本模型在测试集上的性能结果，如下表所示。

表2本方法和普通有监督深度学习在缺陷分类性能和训练时间上的比较

本次实施采用的实验环境如下表所示：

表3实验环境说明

结果表明，相比于普通的有监督深度学习方法，在相同的模型结构下，本方法在精确率，召回率和准确率三个性能指标上都具有明显的优势：在精确率(Precision)上达到94.2％，领先普通有监督9个百分点；在召回率(Recall)上达到88.3％，也领先普通有监督9个百分点；在准确率(Accuracy)上领先有监督11个百分点。同时，在训练的时间周期上，有监督需要1000个周期才能收敛到上述性能，而本方法仅需400个周期即可收敛。这说明本方法无论是在模型的缺陷分类性能上，还是在模型的训练时间成本上，相较普通的深度学习方法都有明显的提升，且不需要大量昂贵的打标图像数据。本方法对于实现低成本高性能的光伏图像缺陷分类具有重要的作用。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，其特征在于，包括以下步骤：

1)基于ImageNet上的通用图像预训练模型，通过迁移学习建立初始化光伏缺陷分类模型；

2)通过类别示例图像获取初始化光伏缺陷分类模型的特征空间中的初始化类别中心和初始类别间距阈值；

3)采集无标签光伏图像并将其通过初始化光伏缺陷分类模型映射入特征空间；基于改进k-means算法对无标签光伏图像进行类别划分得到伪标签图像集，并进行类别中心和类别间距阈值的更新；

4)根据步骤3)得到的伪标签图像集对初始化光伏缺陷分类模型进行再训练，获得训练好的光伏缺陷分类模型；

5)将待分类的光伏图像输入训练好的光伏缺陷分类模型，完成光伏图像缺陷分类。

2.根据权利要求1所述的基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，其特征在于，所述步骤1)具体为：

基于ImageNet上的通用图像预训练模型，将其权重参数迁移到深度学习网络，得到初始化光伏缺陷分类模型M_O＝F(x，θ)；其中x为输入的图像，θ为初始化光伏缺陷分类模型的权重参数。

3.根据权利要求1所述的基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，其特征在于，所述步骤2)具体为：

将包含n种缺陷类别样例的类别示例图像D_n，嵌入到初始化光伏缺陷分类模型的特征空间，得到n个初始类别中心P₀

D_n＝{(x₁，y₁)，...，(x_n，y_n)}

p_i＝F(x_i，θ)

P₀＝{(p_i，y_i)}

其中x₁…x_n为n种类别示例图像；y₁…y_n为模型需要识别的n种类型缺陷的标签；θ为初始化光伏缺陷分类模型的权重参数；p_i为类别示例图像x_i在初始化光伏缺陷分类模型M_O特征空间的映射，x_i∈{x₁…x_n}；y_i∈{y₁…y_n}；

根据初始类别中心点的L2距离，得到初始类别间距阈值H₀，其计算方式如下：

其中x_i和x_j为两张不同类别的示例图像。

4.根据权利要求1所述的基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，其特征在于，所述步骤3)中具体为：

a)采集无标签光伏图像D_u＝{x₁…x_m}，并将其通过初始化光伏缺陷分类模型M_O得到图像在特征空间的映射点：

p_k＝F(x_k，θ)

其中x_k∈D_u；θ为初始化光伏缺陷分类模型的权重参数；

b)基于改进k-means算法计算映射点p_k到n个初始类别中心P0的距离并将其分到L2距离最小的初始类别中心所对应的类别中；根据初始类别间距阈值H_O筛选每个映射点p_k是否能够获得该类别的伪标签，若p_k到最近初始类别中心的距离小于等于H_O，则使其获得该标签并将其所代表的无标签光伏图像放入伪标签图像集D_p中，否则仍留于D_u中；

c)基于伪标签图像集D_p，重新计算n种类别的类别中心P：

P＝{(p_n，y_n)}

其中x_k为伪标签图像集D_p中划分为同一标签的图片，p_n为标签y_n对应的第n个类别中心的更新值；

同时将初始类别间距阈值H_O更新为类别间距阈值H：

其中p_i和p_j分别为更新得到的类别i和类别j的类别中心；

d)对于剩余无标签光伏图像D_u重复进行步骤b)和c)的操作，直到满足无标签光伏图像D_u中无样本，或达到最大循环次数。

5.根据权利要求1或4所述的基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，其特征在于，所述步骤3)中改进k-means算法计算公式如下：

其中P_k为无标签光伏图像在初始化光伏缺陷分类模型特征空间的映射点，y_k为映射点P_k划分得到的标签类型，p_i为类别示例图像x_i在初始化光伏缺陷分类模型M_O特征空间的映射。

6.根据权利要求1所述的基于迁移学习和无监督学习方法的光伏图像缺陷分类方法，其特征在于，所述步骤4)具体为：

基于步骤3)得到的伪标签图像集D_p，对初始化模型M₀进行训练，得到增强的光伏图像缺陷分类模型M；训练过程以分类交叉熵作为目标损失函数，其计算公式为：

其中y_i表示样本伪代码标签，当样本为第i类时y_i＝1否则y_i＝0；t_i表示模型预测样本属于第i类的概率；

在此基础上，对模型中的参数进行梯度传递更新，其计算方式为：

其中W表示模型的权重参数，b表示模型偏移量参数，W⁺表示W的更新量，b⁺表示b的更新量，η表示优化器的学习率，

为目标损失函数的偏导，

为权重参数的偏导，

为偏移量参数的偏导。

Images