CN115690505A - 光伏组件故障检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本说明书实施方式公开了一种光伏组件故障检测方法、装置、计算机设备及存储介质，通过对光伏组件图像进行目标检测，得到故障检测初步结果，且在故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对所述光伏组件图像包括的故障区域图像进行图像分类，得到故障区域图像所对应的故障分类结果，进一步的比较故障检测初步结果与所述故障分类结果，从而基于对比结果确定目标故障类别，如此，通过目标检测和分类检测的配合使用，在识别由于故障区域图像的图像特征相似引起误检的故障类别时，提升故障类别识别的准确性。

Description

光伏组件故障检测方法、装置、计算机设备及存储介质

技术领域

本说明书实施方式涉及光伏发电技术领域，尤其涉及一种光伏组件故障检测方法、装置、计算机设备及存储介质。

背景技术

随着光伏发电技术的发展，出现光伏电站。在光伏电站的长期运行过程中，光伏组件中会由于灰尘覆盖、树木遮挡、组件损坏等原因导致组件发电效能降低、设备损坏。因此，需要对光伏电站的光伏组件进行检测，以及时识别光伏组件故障。

相关技术中，开始应用无人机对光伏电站的光伏组件进行巡检。无人机可以配置有图像采集模块，通过图像采集模块获取光伏组件图像。进一步的，通过深度学习算法对光伏组件图像进行检测以识别光伏组件故障。

然而，相关技术中识别光伏组件的故障类别的准确性有待提高。

发明内容

本说明书实施方式提供一种光伏组件故障检测方法、装置、计算机设备及存储介质，以提高相关技术中识别光伏组件的故障类别的准确性。

本说明书实施方式提供一种光伏组件故障检测方法，所述方法包括：对光伏组件图像进行目标检测，得到故障检测初步结果；在所述故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对所述初步故障类别对应的故障区域图像进行图像分类，得到所述故障区域图像所对应的故障分类结果；其中，所述第一易误检类别为在所述目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别；基于所述故障检测初步结果与所述故障分类结果的对比结果，确定所述故障区域图像所对应的目标故障类别。

本说明书实施方式提供一种光伏组件故障检测装置，所述装置包括：组件故障检测模块，用于对光伏组件图像进行目标检测，得到故障检测初步结果；故障图像分类模块，用于在所述故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对所述初步故障类别对应的故障区域图像进行图像分类，得到所述故障区域图像所对应的故障分类结果；其中，所述第一易误检类别为在所述目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别；故障类别确定模块，用于基于所述故障检测初步结果与所述故障分类结果的对比结果，确定所述故障区域图像所对应的目标故障类别。

本说明书的一个实施方式提供一种计算机设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项实施方式所述的方法的步骤。

本说明书的一个实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

本说明书的一个实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

上述说明书实施方式中，通过对光伏组件图像进行目标检测，得到故障检测初步结果，且在故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对所述光伏组件图像包括的故障区域图像进行图像分类，得到故障区域图像所对应的故障分类结果，进一步的比较故障检测初步结果与所述故障分类结果，从而基于对比结果确定目标故障类别，如此，通过目标检测和分类检测的配合使用，在识别由于故障区域图像的图像特征相似引起误检的故障类别时，提升故障类别识别的准确性。

附图说明

图1为本说明书实施方式提供的光伏组件故障检测系统的示意图。

图2为本说明书实施方式提供的光伏组件故障检测方法的流程示意图。

图3为本说明书实施方式提供的光伏组件故障检测方法的流程示意图。

图4a为本说明书实施方式提供的光伏组件故障检测方法的流程示意图。

图4b为本说明书实施方式提供的目标检测模型的结构示意图。

图4c为本说明书实施方式提供的目标检测模型的结构示意图。

图4d为本说明书实施方式提供的CBAM注意力机制模块的结构示意图。

图4e为本说明书实施方式提供的通道注意力模块的结构示意图。

图4f为本说明书实施方式提供的空间注意力模块的结构示意图。

图5为本说明书实施方式提供的光伏组件故障检测方法的流程示意图。

图6为本说明书实施方式提供的光伏组件故障检测装置的结构示意图。

图7为本说明书实施方式提供的计算机设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

随着光伏发电技术的发展，出现了光伏电站，比如，光伏电站可以包括分布式光伏电站和集中式光伏电站。随着新增装机容量所占的比例不断增大，而光伏电站的运维也面临日益严峻的挑战。光伏组件在运行中经常因灰尘覆盖、树木遮挡、组件损坏等原因导致组件发电效能降低，设备损坏频发，严重影响项目投资收益。采用人工巡检需要花费大量的时间和精力，标准不统一，效率低下，成本高，风险突出。随着无人机技术快速发展，应用无人机的巡航能力对光伏组件进行检测，将有广阔的发展前景。

在光伏电站的长期运行中，光伏组件会产生有鸟禽排泄物、浮土、落叶等遮挡物。另外光伏电池板还有破裂、缺失等故障，这些故障可以通过视觉观察发现。其它缺陷如组串不发电、接线盒问题等内部故障则不容易通过视觉观察发现。但光伏组件故障时，组件中某些电池单片的电流以及电压发生了变化。光伏组件额定电压降低的同时，还导致局部电流与电压之积增大，致使组件的局部温度上升，会减少光伏组件的寿命、可靠性以及光电转换效率，甚至局部烧毁电池、融化焊点，炸裂盖板玻璃。因此精确识别光伏组件的故障类别对于光伏电站的高效经济运行至关重要。

通过无人机拍摄各种环境下光伏电站的红外图像和/或可见光图像，并对对采集到的图像进行分类分析，可以将光伏电站中常见的故障分为热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别，这些故障类别对应的故障对目前光伏电站来说有着严重的影响，减少发电站的发电量的同时也降低了光伏组件的使用寿命，对电站的安全稳定运行埋下了隐患。

因此，为了快速准确地对光伏电站中的组件故障进行检测识别，首先，利用无人机巡检替代传统的人工巡检方式，然后利用深度学习算法实现对无人机拍摄的图像进行自动检测识别，自动检测识别出每张图像中是否含有组件故障以及组件故障的故障类别，提高光伏电站的运维效率，保证组件发电效能。

在本说明书实施方式中，获取光伏组件图像，对光伏组件图像进行目标检测，确定光伏组件图像中包括的故障区域图像的区域位置、故障区域图像对应的初步故障类别、初步故障类别对应的检测置信度；根据区域位置从光伏组件图像中提取故障区域图像。接着，为了准确地识别光伏组件的故障类别，对初步故障类别进行二次识别，针对不同的初步故障类别执行不同的二次识别处理方式。具体地，判断初步故障类别是否属于第一易误检类别，在判定初步故障类别属于第一易误检类别的情况下，因为属于第一易误检类别的故障的图像具有一定相似性，为了减少误检概率，对提取得到的对应第一易误检类别的故障区域图像进行图像分类，得到故障区域图像所对应的故障分类结果。故障分类结果包括待确定故障类别、待确定故障类别对应的分类置信度。最后，比对待确定故障类别与初步故障类别，若初步故障类别与待确定故障类别一致，则可以确定初步故障类别与待确定故障类别为目标故障类别。若初步故障类别与待确定故障类别不一致，则进一步的比较待确定故障类别对应的分类置信度与初步故障类别对应的检测置信度，若检测置信度大于分类置信度，则确定初步故障类别为目标故障类别。若检测置信度小于分类置信度，则确定待确定故障类别为目标故障类别。

本说明书实施方式提供一种光伏组件故障检测方法的场景示例，该光伏组件故障检测方法应用于图1所示的光伏组件故障检测系统中。需要说明的是，该场景示例是为了示例性地说明光伏组件故障检测方法的应用场景，以达到帮助读者理解该光伏组件故障检测方法的一种实施形式，并不是对该光伏组件故障检测方法的应用场景进行的限定。

请参阅图1，光伏组件故障检测系统包括无人机102、客户端104和服务器106。服务器用于训练YOLOv5算法模型、ResNet-50算法模型。本场景示例中，可以搭建YOLOv5算法模型、ResNet-50算法模型，并引入CBAM(Convolutional Block Attention Module)注意力机制对两者进行改进。

本场景示例中，无人机对光伏电站进行巡检，在巡检过程中，通过红外相机进行拍摄，得到红外图像进行保存。为了训练YOLOv5算法模型、ResNet-50算法模型，需要基于拍摄得到的红外图像进行分类，以构建训练样本。具体地，从拍摄得到的红外图像中提出没有组件故障的光伏组件图像，确定故障红外图像。由于已经预设了热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别，按照这6种故障类别对故障红外图像进行归类，同一类故障缺陷的红外图像存放至同一文件夹中。利用标注工具(比如LabelImg)对红外图像上的故障进行标注。比如，在获取故障红外图像以及与其相对应的故障类别后，利用标注工具对故障红外图像中的缺陷进行标注，准确地标注出来故障红外图像中各缺陷的位置以及故障类别。进一步的，将标注信息保存成与故障红外图像的名称一一对应的XML文件。

本场景示例中，在完成数据标注工作后，由于在标注后的过程可能会将标注框标记到在红外图像的界外，因此，将这些超过红外图像边界的标注框删除掉，否则会影响后续的模型训练。至此，完成对标注后的故障红外图像的预处理。由于每个故障类别对应的图像数量是有限的，因此需要有有限的故障红外图像进行数据增强操作。可以通过随机旋转、随机缩放、颜色扭曲等数据增强操作，保证每一故障类别的样本数量可以达到一定数量。进一步的，还需要转换标签数据格式，标注生成的标签采用XML格式，需要将其转化成YOLO算法模型需要的格式。最后，按照7:1:2的比例将数据集划分成训练集、验证集和测试集，如此得到了故障检测数据集，用以训练改进后的YOLOv5算法。

本场景示例中，经过分析发现，针对热斑和碎裂这两种特征比较相似的故障类别，改进后的YOLOv5算法的检测结果不是很好。因此，需要对改进后的YOLOv5算法的检测结果进一步进行故障分类，从而提升对故障的识别准确性。

本场景示例中，采用图像分类算法ResNet-50对YOLOv5算法提取到的故障区域图像进行图像分类处理。因为热斑和碎裂的特征比较相似，可以加入CBAM注意力机制以对ResNet-50算法进行改进，以更好地学习两者特征的区别，提升对热斑和碎裂的分类效果。

本场景示例中，利用数据集对改进后的YOLOv5算法和改进后的ResNet-50算法进行训练，满足模型停止训练条件时，可以得到光伏组件故障检测模型和故障分类模型。可以将完成训练的光伏组件故障检测模型和故障分类模型部署在客户端。

本场景示例中，无人机上安装有图像采集设备。无人机上安装的图像采集设备可以采用红外相机。客户端上部署有完成训练的光伏组件故障检测模型、故障分类模型。客户端可以与无人机的通信设备连接，用于接收红外相机拍摄的光伏组件红外图像。该光伏组件红外图像可以作为需要输入至光伏组件故障检测模型的图像。

本场景示例中，客户端接收到光伏组件红外图像，将该光伏组件红外图像输入至光伏组件故障检测模型中，光伏组件故障检测模型对光伏组件红外图像进行检测识别，输出光伏组件缺陷对应的检测故障类别、对应的检测置信度、光伏组件缺陷在该光伏组件红外图像中的检测位置。

本场景示例中，针对光伏组件故障检测模型输出的不同检测故障类别，需要执行不同的二次识别方式，因此，需要对光伏组件故障检测模型输出的检测故障类别进行判断。

本场景示例中，在判定检测故障类别为热斑或碎裂时，将该光伏组件红外图像中的缺陷区域图像输入至故障分类模型，通过故障分类模型对该缺陷区域图像进行二次识别，故障分类模型识别该缺陷区域图像对应的故障类别，并输出对应的分类置信度。比较光伏组件故障检测模型输出的检测故障类别与故障分类模型识别到的故障类别。若两者一致，比如均为热斑，则判定该光伏组件红外图像中的缺陷包括热斑，比如均为碎裂，则判定该光伏组件红外图像中的缺陷包括碎裂。若两者不一致，则比较检测置信度与分类置信度，确定置信度得分高对应的故障类别作为最终的故障类别。比如，光伏组件故障检测模型输出的是热斑，检测置信度为0.85。故障分类模型输出的是碎裂，分类置信度为0.6，则由于0.85大于0.6，该光伏组件红外图像中的缺陷为热斑。

本场景示例中，由于光伏组件的反光会导致不发电组串故障类别的误检，因此，在判定检测故障类别为不发电组串时，对不发电组串进行二次确认。具体地，在该光伏组件红外图像中的缺陷区域图像中随机选择特定数量的像素点，并计算这些像素点的像素均值。将计算得到的像素均值与初始阈值进行比较，若像素均值大于等于初始阈值，则判定该光伏组件红外图像中的缺陷包括不发电组串，保持输出的检测故障类别不变。若像素均值小于初始阈值，则认为该缺陷区域图像中不存在不发电组串，是无故障区域，对输出的检测故障类别进行修改。

本场景示例中，由于接线盒故障、组件缺失、遮挡热斑这三个故障类别的特征比较明显且与其它故障类别不存在相似特征，因此，若判定检测故障类别为接线盒故障、组件缺失、遮挡热斑中的任一个时，无需进行二次识别，可以直接作为最终检测结果输出。

本场景示例中，进一步的还可以在该光伏组件红外图像上标记出故障位置以及故障类别。

上述场景示例中，先后通过光伏组件故障检测模型和故障分类模型对容易误检的热斑或碎裂进行两次检测，减少由于热斑和碎裂的特征比较相似引起的误检率，提升故障检测结果的准确性。通过提取像素均值减少光伏组件反光导致的不发电组串误检事件的发生几率。最终通过输出标记有故障位置以及故障类别的结果图像，直观地呈现故障检测结果。

本说明书实施方式提供一种光伏组件故障检测方法，请参阅图2，该光伏组件故障检测方法可以包括以下步骤：

S210、对光伏组件图像进行目标检测，得到故障检测初步结果。

其中，光伏组件图像可以是对光伏组件进行拍摄得到的红外图像或者可见光图像。故障检测初步结果可以是对光伏组件图像进行缺陷检测所得到的，可能还需要二次识别的初步检测结果。

在一些情况下，光伏组件中的故障可能减少光伏组件的寿命、可靠性以及光电转换效率，甚至局部烧毁电池、融化焊点，炸裂盖板玻璃，因此可以通过目标检测的方式以精确地识别光伏组件故障。具体地，可以预先部署有训练好的目标检测模型，将光伏组件图像输入至目标检测模型中，通过目标检测模型检测光伏组件图像中故障，检测出缺陷或者故障在光伏组件图像的目标位置。基于该目标位置可以确定光伏组件图像中的故障区域图像。该故障区域图像中存在光伏组件故障。故障区域图像可以是光伏组件的缺陷在红外图像或者可见光图像中所占的部分区域图像。目标检测模型还可以输出故障区域图像对应的初步故障类别、该故障类别对应的检测置信度。示例性地，目标检测模型可以是引入CBAM注意力机制的YOLOv5的网络模型。

S220、在故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对初步故障类别对应的故障区域图像进行图像分类，得到故障区域图像所对应的故障分类结果。

其中，第一易误检类别为在目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别。

在一些情况下，初步故障类别可以是热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别中的任一个。但是这6种故障类别中存在一些特征相似的容易引起误检的故障类别，可以将由于故障区域图像的图像特征相似引起误检的故障类别记为第一易误检类别。第一易误检类别可以包括热斑和碎裂。比如，热斑和碎裂会因为特征比较相似而导致将热斑识别为碎裂，或者将碎裂识别为热斑。因此，需要故障检测初步结果包括的初步故障类别进行判断，以提升故障检测结果的可信度。

具体地，故障检测初步结果包括有初步故障类别，判断初步故障类别是否属于第一易误检类别。在判定初步故障类别属于第一易误检类别时，表明需要对初步故障类别进行二次确认。将目标检测得到的故障区域图像输入至分类模型中，通过分类模型对故障区域图像进行分类，得到故障分类结果。故障分类结果可以包括故障区域图像对应的故障类别、对应的分类置信度中的至少一个。

示例性地，分类模型可以采用引入CBAM注意力机制ResNet算法网络。由于热斑和碎裂的特征比较相似，添加CBAM注意力机制可以更好地学习两者特征的区别，提升对热斑和碎裂的分类效果。

S230、基于故障检测初步结果与故障分类结果的对比结果，确定故障区域图像所对应的目标故障类别。

其中，故障检测初步结果可以包括初步故障类别、对应的检测置信度中的至少一个。故障分类结果可以包括故障区域图像对应的故障类别、对应的分类置信度中的至少一个。

在一些情况下，为了准确的识别光伏组件故障，因此，将故障检测初步结果与故障分类结果进行比对，以基于比对结果确定最终的故障检测结果。具体地，可以比对故障检测初步结果包括的初步故障类别与故障分类结果包括的故障类别，得到故障类别对比结果，基于故障类别对比结果确定目标故障类别。若两者一致，则可以将故障检测初步结果包括的初步故障类别或者故障分类结果包括的故障类别确定为目标故障类别。若两者不一致，可以直接将故障分类结果包括的故障类别确定为目标故障类别。若两者不一致，可以继续比对故障检测初步结果包括的检测置信度、故障分类结果包括的分类置信度，可以将置信度高对应的哪一个确定为目标故障类别。

上述实施方式中，通过对光伏组件图像进行目标检测，得到故障检测初步结果，且在故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对光伏组件图像包括的故障区域图像进行图像分类，得到故障区域图像所对应的故障分类结果，进一步的比较故障检测初步结果与故障分类结果，从而基于对比结果确定目标故障类别，如此，通过目标检测和分类检测的配合使用，在识别由于故障区域图像的图像特征相似引起误检的故障类别时，提升故障类别识别的准确性，减少光伏组件故障对光伏电站运行的影响，有利于光伏电站的稳定运行。

在一些实施方式中，请参阅图3，该光伏组件故障检测方法还可以包括以下步骤：

S310、在故障检测初步结果包括的初步故障类别属于第二易误检类别的情况下，在故障区域图像中确定若干不连续的目标像素点。

S320、基于目标像素点的像素均值与预设像素阈值的比较结果，确定光伏组件的故障情况。

其中，第二易误检类别为在目标检测的过程中由于故障区域图像的图像特征与特定场景图像的图像特征相似引起误检的故障类别。

在一些情况下，初步故障类别可以是热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别中的任一个。但是这6种故障类别中存在一些与特定场景图像的图像特征相似引起误检的故障类别，可以将由于故障区域图像的图像特征与特定场景图像的图像特征相似引起误检的故障类别记为第二易误检类别。第二易误检类别可以包括不发电组串。特定场景图像可以是组件反光图像。比如，不发电组串和组件反光会因为特征比较相似而导致将组件反光识别为不发电组串，或者将不发电组串识别为组件反光。因此，需要故障检测初步结果包括的初步故障类别进行判断，以提升故障检测结果的可信度。进一步的，不发电组串的图像的像素值与组件反光的图像的像素值之间存在差异，因此可以根据故障区域图像中的像素值对初步故障类别进行二次识别。

具体地，判断故障检测初步结果包括的初步故障类别是否属于第二易误检类别，若属于，则需要从故障区域图像中提取若干特定数量的像素点并计算这些像素点点像素均值。在一些情况下，故障区域的温度是分布不均匀的，故障区域图像的像素点的像素值也并不均匀，而特定场景图像的像素点的像素值分布均匀，因此，可以在故障区域图像中确定若干不连续的目标像素点。基于目标像素点的像素值确定目标像素点的像素均值，比较目标像素点的像素均值与预设像素阈值，根据比较结果核实初步故障类别属于第二易误检类别，还是将特定场景图像中的组件误检为故障组件。

示例性地，不发电组串区域的温度是分布不均匀的，不发电组串对应的故障区域图像的像素点的像素值也并不均匀，而组件反光区域图像的像素点的像素值分布均匀，因此，可以在故障区域图像中确定若干不连续的目标像素点。基于目标像素点的像素值确定目标像素点的像素均值，比较目标像素点的像素均值与预设像素阈值，根据比较结果核实初步故障类别属于不发电组串，还是属于反光组件。

上述实施方式中，通过判断在故障检测初步结果包括的初步故障类别是否属于第二易误检类别，若属于，则在故障区域图像中确定若干不连续的目标像素点，从而基于目标像素点的像素均值与预设像素阈值的比较结果，确定光伏组件的故障情况，减少特征场景导致的故障组件误检事件的发生几率，提升故障检测结果的准确性。

在一些实施方式中，基于目标像素点的像素均值与预设像素阈值的比较结果，确定光伏组件的故障情况，至少包括以下之一：在像素均值小于预设像素阈值的情况下，丢弃故障检测初步结果包括的初步故障类别，确定光伏组件处于无故障状态中；或者，在像素均值不小于预设像素阈值的情况下，确定光伏组件对应的目标故障类别包括初步故障类别。

具体地，比较像素均值小于预设像素阈值，在像素均值小于预设像素阈值时，表明该故障区域图像为针对特征场景拍摄得到的图像，并不是对故障区域进行拍摄得到的图像，因此，丢弃故障检测初步结果包括的初步故障类别，确定光伏组件处于无故障状态中。

在像素均值不小于预设像素阈值时，表明该故障区域图像并不是针对特征场景拍摄得到的图像，而是对故障区域进行拍摄得到的图像，无需对故障检测初步结果包括的初步故障类别进行修改，确定光伏组件对应的目标故障类别包括初步故障类别。

上述实施方式中，通过比较像素均值小于预设像素阈值，实现对故障检测初步结果包括的初步故障类别的二次判断，减少特征场景导致的故障组件误检事件的发生几率，提升故障检测结果的准确性。

在一些实施方式中，第一易误检类别为热斑故障类别或者碎裂故障类别。

具体地，初步故障类别可以是热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别中的任一个。这6种故障类别中存在一些特征相似的容易引起误检的故障类别，可以将由于故障区域图像的图像特征相似引起误检的故障类别记为第一易误检类别。第一易误检类别为热斑故障类别或者碎裂故障类别。

在一些实施方式中，第二易误检类别为不发电组件故障类别，特定场景图像为光伏组件反光图像。

具体地，在热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别中存在一些与特定场景图像的图像特征相似引起误检的故障类别，可以将由于故障区域图像的图像特征与特定场景图像的图像特征相似引起误检的故障类别记为第二易误检类别。第二易误检类别为不发电组件故障类别，特定场景图像为光伏组件反光图像。

上述实施方式中，通过对容易误检的热斑或碎裂进行两次检测，减少由于热斑和碎裂的特征比较相似引起的误检率，提升故障检测结果的准确性。通过对不发电组串的再次确认，减少光伏组件反光导致的不发电组串误检事件的发生几率。

在一些实施方式中，基于故障检测初步结果与故障分类结果的对比结果，确定故障区域图像所对应的目标故障类别，可以包括：在初步故障类别与故障分类结果包括的待确定故障类别一致的情况下，确定初步故障类别或者待确定故障类别为目标故障类别。

具体地，在判定初步故障类别属于第一易误检类别时，表明需要对初步故障类别进行二次确认。将目标检测得到的故障区域图像输入至分类模型中，通过分类模型对故障区域图像进行分类，得到故障分类结果。故障分类结果可以包括故障区域图像对应的故障类别。比对故障检测初步结果包括的初步故障类别与故障分类结果包括的故障类别，若两者一致，则可以将故障检测初步结果包括的初步故障类别或者故障分类结果包括的故障类别确定为目标故障类别。

在一些实施方式中，故障检测初步结果包括初步故障类别对应的检测置信度，故障分类结果包括待确定故障类别、待确定故障类别对应的分类置信度。基于故障检测初步结果与故障分类结果的对比结果，确定故障区域图像所对应的目标故障类别，可以包括：在初步故障类别与故障分类结果包括的待确定故障类别不一致的情况下，将检测置信度与分类置信度中较高的置信度所对应的故障类别确定为目标故障类别。

具体地，比对故障检测初步结果包括的初步故障类别与故障分类结果包括的待确定故障类别，若两者不一致，可以继续比对故障检测初步结果包括的检测置信度、故障分类结果包括的分类置信度，可以将置信度高对应的哪一个确定为目标故障类别。示例性地，若检测置信度大于分类置信度，则确定初步故障类别为目标故障类别。若检测置信度小于分类置信度，则确定待确定故障类别为目标故障类别。

上述实施方式中，通过目标检测和分类检测的配合使用，在识别由于故障区域图像的图像特征相似引起误检的故障类别时，提升故障类别识别的准确性，减少光伏组件故障对光伏电站运行的影响，有利于光伏电站的稳定运行。

在一些实施方式中，该光伏组件故障检测方法还可以包括：在故障检测初步结果包括的初步故障类别不属于第一易误检类别，且不属于第二易误检类别的情况下，确定初步故障类别为目标故障类别。

在一些情况下，初步故障类别可以是热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别中的任一个。第一易误检类别为在目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别。第二易误检类别为在目标检测的过程中由于故障区域图像的图像特征与特定场景图像的图像特征相似引起误检的故障类别。在6种故障类别中，存在既不属于第一易误检类别也不属于第二易误检类别的故障类别。针对这一类故障类别，其特征比较明显，且与其它故障类别不存在相似特征。因此，目标检测过程输出的结果是可信的，无需进行二次识别。具体地，在故障检测初步结果包括的初步故障类别不属于第一易误检类别，且不属于第二易误检类别的情况下，确定初步故障类别为目标故障类别。

示例性地，由于接线盒故障、组件缺失、遮挡热斑这三个故障类别的特征比较明显且与其它故障类别不存在相似特征。因此，若判定初步故障类别为接线盒故障、组件缺失、遮挡热斑中的任一个时，无需进行二次识别，可以直接将初步故障类别作为最终检测结果输出。

上述实施方式中，针对热斑、遮挡热斑、碎裂、接线盒问题、组件缺失和不发电组串6种故障类别中的不同对象，采用不同的处理方式，在提升故障检测准确性的基础上，减少不必要的运算过程，提升故障检测效率。

在一些实施方式中，故障检测初步结果中还包括有目标故障类别所对应的故障区域图像在光伏组件图像中的位置信息。该光伏组件故障检测方法还可以包括：根据位置信息、故障区域图像所对应的目标故障类别对光伏组件图像进行标记，以在光伏组件图像中标明故障位置以及故障类别。

具体地，为了直观地呈现故障检测结果，根据目标故障类别所对应的故障区域图像在光伏组件图像中的位置信息在光伏组件图像中框处故障区域图像，并在合适位置展示目标故障类别，从而在光伏组件图像中标明故障位置以及故障类别。在一些实施方式中，可以将完成标记的光伏组件图像进行保存。

在一些实施方式中，请参阅图4a，对光伏组件图像进行目标检测，得到故障检测初步结果，可以包括以下步骤：

S410、将光伏组件图像输入至目标检测模型中进行特征提取，得到若干不同尺寸的图像特征。

S420、通过卷积块注意力机制模块对至少部分不同尺寸的图像特征分别在通道维度和空间维度上进行加权处理，得到最终图像特征。

S430、根据最终图像特征确定故障检测初步结果。

其中，目标检测模型包括若干网络分支。部分网络分支的末端设置有卷积块注意力机制模块。

其中，卷积块注意力机制模块包括用于在通道上加权处理的通道注意力模块和用于在空间上加权处理的空间注意力模块，这样不仅能够节约参数和计算力，并且保证了其能够作为即插即用的模块集成到现有的网络架构中去。

在一些情况下，光伏组件图像可能包括多种故障类别的区域图像，不同类别的故障具有不同的尺寸，且在光伏组件图像中所占面积大小也不同。因此，设置目标检测模型包括若干网络分支，通过不同的网络分支提取不同尺寸的图像特征。进一步的，在对组件故障检测识别时，存在组件故障的漏识别以及误识别，导致组件故障的检测识别准确率无法达到预期要求，因此引入CBAM(Convolutional Block Attention Module)注意力机制模块，具体如图4b所示，通过加入CBAM注意力机制模块，一方面增加了对组件故障检测识别的效果，提升了检测准确率，另一方面减少了对组件故障的误识别率，降低将非故障区域误认为组件故障的发生几率。

具体地，目标检测模型的结构如图4b所示。将光伏组件图像输入至目标检测模型中，通过每个网络分支对光伏组件图像进行特征提取，得到若干不同尺寸的图像特征。不同尺寸的图像特征可以用于确定不同尺寸的故障。针对末端连接有卷积块注意力机制模块的网络分支来说，可以输出不同尺寸的图像特征。示例性地，目标检测模型可以采用YOLOv5网络。如图4c所示，图4c示出了部分的YOLOv5网络，在YOLOv5网络的部分网络分支的末端引入CBAM注意力机制模块。

本实施方式中，将不同尺寸的图像特征输入至卷积块注意力机制模块。卷积块注意力机制模块包括通道注意力模块和空间注意力模块。通过通道注意力模块对图像特征在通道上进行加权处理，得到通道加权图像特征，通过空间注意力模块对通道加权图像特征在空间上进行加权处理，得到最终图像特征。从而根据最终图像特征确定故障检测初步结果。示例性地，如图4d所示，卷积块注意力机制模块可以采用CBAM注意力机制模块。CBAM注意力机制模块包括通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spartial Attention Module，SAM)。

通道注意力模块(Channel Attention Module，CAM)结构如图4e所示。具体流程如下：将输入的特征图F(H×W×C)分别经过基于Width和Height的全局最大池化(Global MaxPooling)和全局平均池化(Global Average Pooling)，得到两个1×1×C的特征图。接着，将两个1×1×C的特征图分别送入一个两层的神经网络(MLP)，第一层神经元个数为C/r(r为减少率)，激活函数为Relu，第二层神经元个数为C，该两层的神经网络是共享的。而后，将MLP输出的特征进行基于element-wise的加和操作，再经过sigmoid激活操作，生成最终的通道加权图像特征(channel attention feature)，即Mc。最后，将Mc和输入特征图F做element-wise乘法操作，得到空间注意力模块需要的输入特征。

空间注意力模块(Spartial Attention Module，SAM)结构如图4f所示。具体流程如下：将通道注意力模块输出的特征图作为本模块的输入特征图。首先做一个基于通道的全局最大池化(global max pooling)和全局平均池化(global average pooling)，得到两个H×W×1的特征图，然后将两个H×W×1的特征图基于通道做通道拼接(concat操作)。然后经过一个7×7卷积操作，降维为1个通道，即H×W×1，再经过sigmoid生成空间加权图像特征(spatial attention feature)，即Ms。最后将该空间加权图像特征和该模块的输入特征做乘法，得到最终图像特征。

上述实施方式中，通过在目标检测模型的部分网络分支的末端设置有卷积块注意力机制模块，利用卷积块注意力机制模块对至少部分不同尺寸的图像特征分别在通道维度和空间维度上进行加权处理，得到最终图像特征，使得目标检测模型更关注识别目标物体，从而提升对组件故障的检测识别效果。

本说明书实施方式中提供一种光伏组件故障检测方法，请参阅图5，该光伏组件故障检测方法包括以下步骤：

S502、将光伏组件图像输入至目标检测模型中进行特征提取，得到若干不同尺寸的图像特征。

其中，目标检测模型包括若干网络分支；部分网络分支的末端设置有卷积块注意力机制模块。

S504、通过卷积块注意力机制模块对至少部分不同尺寸的图像特征分别在通道维度和空间维度上进行加权处理，得到最终图像特征。

S506、根据最终图像特征确定故障检测初步结果。

故障检测初步结果中包括初步故障类别、初步故障类别对应的检测置信度、目标故障类别所对应的故障区域图像，还包括有故障区域图像在光伏组件图像中的位置信息。

S508、在故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对初步故障类别对应的故障区域图像进行图像分类，得到故障区域图像所对应的故障分类结果。

其中，第一易误检类别为在目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别。示例性地，第一易误检类别为热斑故障类别或者碎裂故障类别。

故障分类结果包括待确定故障类别、待确定故障类别对应的分类置信度。

S510、在初步故障类别与故障分类结果包括的待确定故障类别一致的情况下，确定初步故障类别或者待确定故障类别为目标故障类别。

S512、在初步故障类别与故障分类结果包括的待确定故障类别不一致的情况下，将检测置信度与分类置信度中较高的置信度所对应的故障类别确定为目标故障类别。

S514、在故障检测初步结果包括的初步故障类别属于第二易误检类别的情况下，在故障区域图像中确定若干不连续的目标像素点。

其中，第二易误检类别为在目标检测的过程中由于故障区域图像的图像特征与特定场景图像的图像特征相似引起误检的故障类别。示例性地，第二易误检类别为不发电组件故障类别，特定场景图像为光伏组件反光图像。

S516、基于目标像素点的像素均值与预设像素阈值的比较结果，确定光伏组件的故障情况。

具体地，在像素均值小于预设像素阈值的情况下，丢弃故障检测初步结果包括的初步故障类别，确定光伏组件处于无故障状态中；或者，在像素均值不小于预设像素阈值的情况下，确定光伏组件对应的目标故障类别包括初步故障类别。

S518、在故障检测初步结果包括的初步故障类别不属于第一易误检类别，且不属于第二易误检类别的情况下，确定初步故障类别为目标故障类别。

进一步的，可以根据位置信息、故障区域图像所对应的目标故障类别对光伏组件图像进行标记，以在光伏组件图像中标明故障位置以及故障类别。

本说明书实施方式中提供一种光伏组件故障检测装置。请参阅图6，光伏组件故障检测装置600包括：组件故障检测模块610、故障图像分类模块620、故障类别确定模块630。

组件故障检测模块610，用于对光伏组件图像进行目标检测，得到故障检测初步结果。

故障图像分类模块620，用于在所述故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对所述初步故障类别对应的故障区域图像进行图像分类，得到所述故障区域图像所对应的故障分类结果；其中，所述第一易误检类别为在所述目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别。

故障类别确定模块630，用于基于所述故障检测初步结果与所述故障分类结果的对比结果，确定所述故障区域图像所对应的目标故障类别。

关于光伏组件故障检测装置的具体限定可以参见上文中对于光伏组件故障检测方法的限定，在此不再赘述。上述光伏组件故障检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本说明书实施方式提供一种计算机设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项实施方式所述的方法的步骤。

本说明书实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种光伏组件故障检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种光伏组件故障检测方法，其特征在于，所述方法包括：

对光伏组件图像进行目标检测，得到故障检测初步结果；

在所述故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对所述初步故障类别对应的故障区域图像进行图像分类，得到所述故障区域图像所对应的故障分类结果；其中，所述第一易误检类别为在所述目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别；

基于所述故障检测初步结果与所述故障分类结果的对比结果，确定所述故障区域图像所对应的目标故障类别。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述故障检测初步结果包括的初步故障类别属于第二易误检类别的情况下，在所述故障区域图像中确定若干不连续的目标像素点；其中，所述第二易误检类别为在所述目标检测的过程中由于故障区域图像的图像特征与特定场景图像的图像特征相似引起误检的故障类别；

基于所述目标像素点的像素均值与预设像素阈值的比较结果，确定所述光伏组件的故障情况。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标像素点的像素均值与预设像素阈值的比较结果，确定所述光伏组件的故障情况，至少包括以下之一：

在所述像素均值小于所述预设像素阈值的情况下，丢弃所述故障检测初步结果包括的初步故障类别，确定所述光伏组件处于无故障状态中；

在所述像素均值不小于所述预设像素阈值的情况下，确定所述光伏组件对应的目标故障类别包括所述初步故障类别。

4.根据权利要求2所述的方法，其特征在于，所述第二易误检类别为不发电组件故障类别，所述特定场景图像为光伏组件反光图像。

5.根据权利要求1所述的方法，其特征在于，所述第一易误检类别为热斑故障类别或者碎裂故障类别。

6.根据权利要求1所述的方法，其特征在于，所述基于所述故障检测初步结果与所述故障分类结果的对比结果，确定所述故障区域图像所对应的目标故障类别，包括：

在所述初步故障类别与所述故障分类结果包括的待确定故障类别一致的情况下，确定所述初步故障类别或者所述待确定故障类别为所述目标故障类别。

7.根据权利要求1所述的方法，其特征在于，所述故障检测初步结果包括所述初步故障类别对应的检测置信度，所述故障分类结果包括待确定故障类别、所述待确定故障类别对应的分类置信度；所述基于所述故障检测初步结果与所述故障分类结果的对比结果，确定所述故障区域图像所对应的目标故障类别，包括：

在所述初步故障类别与所述故障分类结果包括的待确定故障类别不一致的情况下，将所述检测置信度与所述分类置信度中较高的置信度所对应的故障类别确定为所述目标故障类别。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述故障检测初步结果包括的初步故障类别不属于第一易误检类别，且不属于第二易误检类别的情况下，确定所述初步故障类别为所述目标故障类别。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述对光伏组件图像进行目标检测，得到故障检测初步结果，包括：

将所述光伏组件图像输入至目标检测模型中进行特征提取，得到若干不同尺寸的图像特征；其中，所述目标检测模型包括若干网络分支；部分所述网络分支的末端设置有卷积块注意力机制模块；

通过卷积块注意力机制模块对至少部分所述不同尺寸的图像特征分别在通道维度和空间维度上进行加权处理，得到最终图像特征；

根据所述最终图像特征确定所述故障检测初步结果。

10.根据权利要求1至8任一项所述的方法，其特征在于，所述故障检测初步结果中还包括有所述目标故障类别所对应的故障区域图像在所述光伏组件图像中的位置信息；所述方法还包括：

根据所述位置信息、所述故障区域图像所对应的目标故障类别对所述光伏组件图像进行标记，以在所述光伏组件图像中标明故障位置以及故障类别。

11.一种光伏组件故障检测装置，其特征在于，所述装置包括：

组件故障检测模块，用于对光伏组件图像进行目标检测，得到故障检测初步结果；

故障图像分类模块，用于在所述故障检测初步结果包括的初步故障类别属于第一易误检类别的情况下，对所述初步故障类别对应的故障区域图像进行图像分类，得到所述故障区域图像所对应的故障分类结果；其中，所述第一易误检类别为在所述目标检测的过程中由于故障区域图像的图像特征相似引起误检的故障类别；

故障类别确定模块，用于基于所述故障检测初步结果与所述故障分类结果的对比结果，确定所述故障区域图像所对应的目标故障类别。

12.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至10中任意一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至10中任意一项所述的方法。

Images