CN114881931A - 基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质。通过本申请提出的技术方案，能够同时利用无人机获取的可见光图像和热成像图像实现对光伏面板安装区域进行高速自动化巡检，具体地，通过改进的目标检测算法对双光图像分别进行检测，将基于可见光图像的缺陷检测算法的结果与目标组件的热斑温度、平均温度相结合，从而对于光伏面板缺陷均能够实现及时检出。在双光图像融合的过程中，克服了双光相机的拍摄偏差，同时实现了对于缺陷面板的精准定位，能够自动生成包含缺陷检测信息、缺陷定位信息以及图像融合信息的自动化定制报告，适应于光伏电站的精细化运维需求，具有可推广价值。

Description

基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机 可读存储介质

技术领域

本发明涉及图像处理分析技术领域，具体地，公开了一种基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质。

背景技术

随着国家“双碳”能源战略发展，为顺应能源数字化转型，光伏电站已从建设高峰期进入精细化运维期。现有技术中通常采用人工巡检的方式来记录光伏电站运行数据的方式，然后考虑到光伏电站往往占地面积较大，人工巡检不仅会耗费大量的人工成本，而且无法保证数据采集的准确性，人工全天候采集记录数据及其枯燥且效率低下，亟需采用无人机巡检等自动化方式进行有效代替。

而在传统的自动化无人机巡检过程中，往往仅采用可见光图像分析或是热成像图像分析的方式进行。可以理解的是，若仅通过可见光图像进行分析，则无法有效观察到光伏面板内部的故障；若仅通过热成像图像进行分析，则无法观察到光伏面板上实际的遮挡、裂痕或者附着物，无法满足精细化运维的需求。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于双光融合的光伏面板缺陷检测方法、系统、设备及计算机可读存储介质。

在本申请的第一方面提供了一种基于双光融合的光伏面板缺陷检测方法，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位；

该种光伏面板缺陷检测方法包括：

获取热成像图像数据和可见光图像数据；

对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对可见光图像数据进行可见光缺陷检测获取对应的第二检测结果；

根据预设参数，对热成像图像数据和可见光图像数据进行图像畸变矫正，以获取对应的矫正参数；

根据第一检测结果、第二检测结果以及矫正参数，对热成像图像数据和可见光图像数据进行双光融合操作，以获取光伏面板缺陷分布情况；

根据光伏面板缺陷分布情况，获取存在缺陷的光伏面板的实际缺陷分布位置；

根据第一检测结果、第二检测结果以及实际缺陷分布位置，生成关联于存在缺陷的光伏面板的缺陷检测报告。

在上述第一方面的一种可能的实现中，在对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果的过程中，还包括：

于热成像图像数据中，基于yolact算法获取每个光伏面板的图像掩膜；

对每个图像掩膜对应的最大热成像区域进行二值化处理以获取对应的识别区域；

于识别区域中，获取光伏面板对应的最小外接矩形，并将最小外接矩形作为光伏面板对应的检测判断区域；

于检测判断区域中判断光伏面板是否存在缺陷，以生成第一检测结果。

在上述第一方面的一种可能的实现中，第一检测结果包括光伏面板处于正常工况以及光伏面板内部组件出现温度异常工况。

在上述第一方面的一种可能的实现中，在对可见光图像数据进行可见光缺陷检测获取对应的第二检测结果的过程中，还包括：

对可见光图像数据进行图像分割以获取满足预设目标检测网络的像素要求的检测图像；

根据预设目标检测网络对检测图像中是否存在缺陷进行检测，以生成第二检测结果。

在上述第一方面的一种可能的实现中，第二检测结果包括光伏面板处于正常工况以及光伏面板表面出现异常工况。

在上述第一方面的一种可能的实现中，在根据预设参数对热成像图像数据和可见光图像数据进行图像畸变矫正的过程中，还包括：

根据预设的标记热成像图像以及标记可见光图像，获取热成像图像数据与可见光图像数据的初始配准参数；

根据标记热成像图像以及标记可见光图像对应的经纬度信息，获取可见光图像数据对应的实际距离偏差；

根据相机成像原理，将实际距离偏差映射至初始配准参数中，以获取矫正参数。

在上述第一方面的一种可能的实现中，在根据光伏面板缺陷分布情况获取存在缺陷的光伏面板的实际缺陷分布位置的过程中，还包括：

获取无人机于拍摄过程中的飞行姿态数据以及无人机于拍摄过程中的实际定位信息；

根据飞行姿态数据和实际定位信息，获取可见光图像数据中的图像像素坐标与地理信息坐标的映射关系；

根据第一检测结果和第二检测结果，在光伏面板出现非正常工况的情况下，获取光伏面板的图像像素坐标对应的地理信息坐标，并将地理信息坐标作为实际缺陷分布位置。

本申请的第二方面提供了一种基于双光融合的光伏面板缺陷检测系统，应用于前述第一方面提供的基于双光融合的光伏面板缺陷检测方法中，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位；

该种光伏面板缺陷检测系统包括：

获取单元，用于获取热成像图像数据和可见光图像数据；

检测单元，用于对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对可见光图像进行可见光缺陷检测获取对应的第二检测结果；

校准单元，用于根据预设参数，对热成像图像数据和可见光图像数据进行图像畸变矫正，以获取矫正的第一热成像图像和第一可见光图像；

双光融合单元，用于根据第一检测结果、第二检测结果、第一热成像图像和第一可见光图像进行双光融合操作，以获取光伏面板缺陷分布情况；

定位单元，用于根据光伏面板缺陷分布情况，获取存在缺陷的光伏面板的实际缺陷分布位置；

检测生成单元，用于根据第一检测结果、第二检测结果以及实际缺陷分布位置，生成关联于存在缺陷的光伏面板的缺陷检测报告。

本申请的第三方面提供了一种基于双光融合的光伏面板缺陷检测设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现前述第一方面所提供的基于双光融合的光伏面板缺陷检测方法。

本申请的第四方面提供了一种计算机可读存储介质，该种计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时实现前述第一方面所提供的基于双光融合的光伏面板缺陷检测方法。

与现有技术相比，本申请具有如下的有益效果：

通过本申请提出的技术方案，能够同时利用无人机获取的可见光图像和热成像图像实现对光伏面板安装区域进行高速自动化巡检，具体地，通过改进的目标检测算法对双光图像分别进行检测，将基于可见光图像的缺陷检测算法的结果与目标组件的热斑温度、目标组串的平均温度相结合，从而对于大部分光伏面板缺陷问题均能够实现及时检出。在双光图像融合的过程中，克服了双光相机的拍摄偏差，使得多源图像中的待检测目标均可以通过坐标转换实现相互映射，同时实现了对于缺陷面板的精准定位，能够自动生成包含缺陷检测信息、缺陷定位信息以及图像融合信息的自动化定制报告，适应于光伏电站的精细化运维需求，具有可推广价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1根据本申请实施例，示出了一种基于双光融合的光伏面板缺陷检测方法的流程示意图；

图2根据本申请实施例，示出一种根据预设参数对热成像图像数据和可见光图像数据进行图像畸变矫正的流程示意图；

图3根据本申请实施例，示出了一种根据光伏面板缺陷分布情况获取存在缺陷的光伏面板的实际缺陷分布位置的流程示意图；

图4根据本申请实施例，示出了一种无人机拍摄过程的抽象化示意图；

图5根据本申请实施例，示出了一种基于双光融合的光伏面板缺陷检测系统的结构示意图；

图6根据本申请实施例，示出了一种基于双光融合的光伏面板缺陷检测设备的结构示意图；

图7根据本申请实施例，示出了一种计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少区域地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

针对现有技术中存在的人工巡检成本高、效率低下、无人机巡检检测方式较为单一的实际问题，本申请提供了一种基于双光融合的光伏面板缺陷检测方法、系统、设备及计算机可读存储介质。通过本申请提供的技术方案，能够借助对政策自身影响力评分以及政策颁布后的情绪评分，综合分析以获取一定时间周期内政策颁布对于产业发展的客观可量化影响。以下将结合实施例对本申请提供的技术方案进行阐释和说明。

在本申请的一些实施例中，图1示出了一种基于双光融合的光伏面板缺陷检测方法，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位。在上述实施例中，可以采用带有RTK设备的四旋翼无人机携带双光相机进行双光图像采集，在此不做限定。

如图1所示，该种光伏面板缺陷检测方法可以包括：

步骤101：获取热成像图像数据和可见光图像数据。有关热成像图像数据和可见光图像数据可以通过无人机搭载的双光相机进行获取，在此不做限定。

步骤102：对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对可见光图像数据进行可见光缺陷检测获取对应的第二检测结果。有关热成像缺陷检测和可见光缺陷检测的具体实现将于后文中进行详细说明。

步骤103：根据预设参数，对热成像图像数据和可见光图像数据进行图像畸变矫正，以获取对应的矫正参数。有关图像畸变矫正的具体实现将于后文中进行具体说明。

步骤104：根据第一检测结果、第二检测结果以及矫正参数，对热成像图像数据和可见光图像数据进行双光融合操作，以获取光伏面板缺陷分布情况。

步骤105：根据光伏面板缺陷分布情况，获取存在缺陷的光伏面板的实际缺陷分布位置。有关实际缺陷分布位置的定位的具体实现方式将于后文中进行具体说明。

步骤106：根据第一检测结果、第二检测结果以及实际缺陷分布位置，生成关联于存在缺陷的光伏面板的缺陷检测报告。可以理解的是，缺陷检测报告可以由双光缺陷检测信息、图像融合信息、缺陷面板ID定位信息等自动生成，用户也可以根据自身的实际需求对缺陷检测报告的呈现内容进行定制，在此不做限定。

可以理解的是，通过上述步骤101至步骤106，能够实现对光伏面板缺陷的精准检测和定位，以下将对上述步骤101至步骤106的具体实现过程做出进一步阐释和说明。

在本申请的一些实施例中，于前述步骤102的具体实施过程中，在对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果的过程中，还可以包括如下步骤：

步骤102a：于热成像图像数据中，基于yolact算法获取每个光伏面板的图像掩膜。

可以理解的是，由于无人机在巡检过程中需要一边飞行一边进行拍摄拍摄，不可避免地会拍摄到倾斜方向上的光伏面板组串或是组件，这些目标带有任意旋转的多角度并且呈现密集排列。而传统的目标检测方法往往采用与成像图的边缘平行的正矩形框标注的方法，进而容易导致目标检测框内附加多余的背景，使得特征表达的信息冗余，这样的目标框叠加后对精度产生很大的影响，影响泛化能力。为了克服上述问题，上述实施例的具体实现中可以采用实例分割的方法检测组串和故障组件。

具体地，于上述步骤102a中，热成像缺陷检测过程中可以采用yolact算法，将掩膜分支添加到现有的一阶段yolo目标检测模型，将实例分割任务拆分成两个并行的子任务：第一个并行子任务通过一个Protonet网络，为每张图片生成若干个原型掩膜；第二个并行子任务针对每个实例预测若干个的线性组合系数，最后通过线性组合，生成实例掩膜，即上述图像掩膜。

步骤102b：对每个图像掩膜对应的最大热成像区域进行二值化处理以获取对应的识别区域。

步骤102c：于识别区域中，获取光伏面板对应的最小外接矩形，并将最小外接矩形作为光伏面板对应的检测判断区域。

可以理解的是，通过上述步骤102b至步骤102c，能够实现目标检测中不规则矩形框的特征表达，进而实现对于无人机热成像图像中对应的各个光伏面板区域进行有效的识别和获取，不会出现过多的冗余信息。

步骤102d：于检测判断区域中判断光伏面板是否存在缺陷，以生成第一检测结果。其中，第一检测结果可以包括光伏面板处于正常工况以及光伏面板内部组件出现温度异常工况。

可以理解的是，在对热成像图像进行缺陷检测的过程中，可以基于热斑分布情况和光伏面板群的平均温度进行缺陷区域的检测，若某一光伏面板在热成像图中的颜色明显深于其他光伏面板区域或出现深色的热斑的情况下，则说明该光伏面板基于热成像图像分析存在缺陷隐患。本领域技术人员也可采取其他分析手段实现对于是否存在缺陷的分析，在此不做限定。

在本申请的一些实施例中，于前述步骤102的具体实施过程中，在对可见光图像数据进行可见光缺陷检测获取对应的第二检测结果的过程中，还可以包括如下步骤：

步骤102A：对可见光图像数据进行图像分割以获取满足预设目标检测网络的像素要求的检测图像。

可以理解的是，无人机拍摄的可见光图像往往是高分辨率的，单个光伏面板在大尺寸图像中仅占据很小一部分像素区域，若直接将整个可见光图像输入目标检测网络中容易使得网络很难学习得到目标的特征信息。例如，在本申请的一具体实施清醒中，无人机视角的可见光图像是分辨率为5184*3880的图像，如果直接输入到目标检测网络，比如yolo目标检测系列的网络，以网络输入608*608的图像为例，yolo目标检测系列都使用5次下采样，因此最终的特征图大小分别是像素分布为19*19、38*38以及76*76，其中最大的特征图负责检测小目标，而对应到网络输入尺寸608*608，再将608*608对应到分辨率为5184*3880的可见光图像，以最长边为例，5184/608*8＝68，即如果原始图像中目标的宽或高小于68像素，网络很难学习到目标的特征信息。

为了克服上述问题，通过上述步骤102A，可以在输入模型前预先对图像进行分割，将分割后的小图输入到目标检测网络中，再对每个小图进行检测，对于最小目标像素的下限会大大降低。比如可以对上述具体实施例中的图像分割成608*608大小的图像，送入图像大小的608*608的网络中，即可学习到原始图像长宽大于8个像素的小目标特征。

步骤102B：根据预设目标检测网络对检测图像中是否存在缺陷进行检测，以生成第二检测结果。其中第二检测结果可以包括光伏面板处于正常工况以及光伏面板表面出现异常工况。

可以理解的是，本领域技术人员可以根据实际情况选择合适的目标检测算法对光伏面板的表面是否出现异常进行检测，在此不做限定。

基于前述实施例的阐释，本申请提供的光伏面板缺陷检测方法分别针对客家光图像和热成像图像进行了检测的优化。由于可见光和热成像图像所观察到的缺陷种类不同，一方面热成像图像可以观察到光伏组件内部发生温度异常的热斑效应，另一方面，可见光图像获取的图像信息更多更复杂，可以方便的观察到具体可见的缺陷原因，如光伏面板裂缝、脏污、以及树叶、杂草异物遮挡等，为此，需要将两种图像中检测到的缺陷信息进行融合。

可以理解的是，由于可见光相机和热成像相机成像原理、相机参数、曝光时间以及画幅尺寸等各不相同，导致可见光和热成像图像的尺寸和视野范围差异较大，其中，可见光图像尺寸大约为5184*3880，热成像尺寸大约为640*512。由于成像机理不同，两相机曝光时间存在差异，而较快的飞行进一步放大了这种差异，导致同一时刻拍下的两幅图像中，可见光图像无法完全包含热成像图像，出现热成像图像中的目标无法在可见光图像中找到。

为了克服上述双光融合的缺陷，在本申请的一些实施例中，图2示出了一种根据预设参数对热成像图像数据和可见光图像数据进行图像畸变矫正的流程示意图，具体可以包括：

步骤201：根据预设的标记热成像图像以及标记可见光图像，获取热成像图像数据与可见光图像数据的初始配准参数。

可以理解的是，于上述实施例中，针对无人机进行初始化配置，可以采集一组可见光和热成像图像作为预设的标记热成像图像以及标记可见光图像，此处分别记为图A和图B，人为在图A和图B中找到三对相对应的点位，通过放射变换求得两幅图像之间变换关系的参数矩阵。其中放射变换是把一个二维坐标系转换到另一个二维坐标系的过程，转换过程坐标点的相对位置和属性不发生变换，作为一个线性变换，该过程只发生旋转和平移过程。

于上述实施例中，放射变化矩阵可以为：

其中，(x,y)是原图坐标，(x’,y’)是变换后的坐标。最终求得的参数矩阵中,m₁₁，m₂₂表示图像的拉伸；m₁₂，m₂₁表示图像的旋转；m₁₃表示x轴方向的偏移量，m₂₃表示y轴方向的偏移量。

可以理解的是，单纯使用放射变化得到的参数求解对应坐标是有偏差的，而且适应性不强。为减少误差、增强适应性，可以根据选取点位的聚集性状态求解最优参数，对放射变换得到的参数进行修正。由于变换后的矩阵点对呈现一定的聚集性，通过观察矩阵参数的分布，认为越聚集的地方出现最优解的可能性最大。于上述实施例中即可以通过计算求解聚类中心，用二乘法得到最优变换矩阵。至此，实现了通过两张预设图像实现无人机的初始配准，并得到配准参数矩阵，通过配准参数矩阵对之后的图像进行配准，则得到在热成像目标在可见光图像中估计出的坐标映射。

可以理解的是，由于双光相机中可见光相机和热成像相机的曝光时间不同，以及自动曝光的不确定性，导致估计的目标位置与实际位置存在偏差。因此，对于同一架无人机，不同组照片的配准参数之间存在差异，这种差异主要存在于像素坐标系的x和y轴，即m₁₁，m₂₂，m₁₂，m₂₁几乎不变，m₁₃，m₂₃发生偏移。

为了克服上述问题，以下通过步骤202至步骤203实现对无人机配准参数矩阵的修正：

步骤202：根据标记热成像图像以及标记可见光图像对应的经纬度信息，获取可见光图像数据对应的实际距离偏差。

步骤203：根据相机成像原理，将实际距离偏差映射至初始配准参数中，以获取矫正参数。

于上述步骤202至步骤203中，首先，记录初始两张预设标记图像(可见光图片A和红外热成像图片B)的经纬度信息，将经纬度球面坐标转化成平面坐标，分别记为(Lat，Lng)，(Lat2，Lng2)。其中，Lat、Lat2：由经度转化而来，Lng、Lng2：由纬度转化而来，随机选取一组红外热成像和可见光图像，记录它们变化后的经纬度平面坐标为(Lat1，Lng1),(Lat3，Lng3)。以两张热成像图像经纬度变化为基准，得到可见光图像产生的实际距离偏差，记做：

Lng_Δ＝Lng₃-(Lng₂+(Lng₁-Lng))

Lat_Δ＝Lat₃-(Lat₂+(Lat₁-Lat))

其中，Lng_Δ为可见光图像经度上产生的实际距离偏差，Lat_Δ为可见光图像维度上产生的实际距离偏差。

于本实施例中，基于已然得到的可见光图像中实际距离的偏差，将此偏差映射到像素坐标系中。本技术方案中通过相机成像原理实现精准映射，于相机成像袁丽丽中需要应用到相机标定的内参和外参，在此不做限定。至此，能够将世界坐标系下的一点映射到像素坐标系，即世界坐标系下产生的实际距离偏差能够映射到像素坐标系，完成对像素偏差的修正。

在本申请的一些实施例中，图3示出了一种根据光伏面板缺陷分布情况获取存在缺陷的光伏面板的实际缺陷分布位置的流程示意图，具体可以包括：

步骤301：获取无人机于拍摄过程中的飞行姿态数据以及无人机于拍摄过程中的实际定位信息。

步骤302：根据飞行姿态数据和实际定位信息，获取可见光图像数据中的图像像素坐标与地理信息坐标的映射关系。

步骤303：根据第一检测结果和第二检测结果，在光伏面板出现非正常工况的情况下，获取光伏面板的图像像素坐标对应的地理信息坐标，并将地理信息坐标作为实际缺陷分布位置。

在上述实施例的具体实现过程中，首选需要在无人机开启RTK定位的状态下拍摄无人机的正射影像，在正射图上进行光伏面板矢量化处理，从而建立光伏面板身份识别数据与地理信息坐标映射关系。光伏面板检测的结果返回对应组件的的像素点坐标，根据相机坐标与无人机姿态投射到地图坐标，通过地图坐标搜索对应光伏面板。

具体地，图4示出了一种无人机拍摄过程的抽象化示意图。如图4所示，对于无人机上一台中心点为(u0，v0)，焦距为f(单位统一为毫米)，每像素大小为p(单位统一为毫米)的相机来说，当其位于大地坐标(X0，Y0)，高度H，偏航角为α，俯仰角为β，翻滚角为γ时，其拍摄得到的多边形区域点集中像素坐标为(uk，vk)，其中k为非零自然数，那么针对其中一点(u,v)，其实际大地坐标的计算方法如下:

以照片中心为原点，其相机向量(dx,dy,f)为：

[d_x,d_y,f]＝[(u_k-u₀)*p,(v_k-v₀)*p,f]

此向量的单位向量

为：

经旋转后的向量

的求解方式为：

旋转向量中的姿态角参数分别为α偏航角，β俯仰角，γ翻滚角，那么

与地面法线间的夹角余弦值则可以为

进而获取从相机中心点O经像素(u,v)至其地面投射点A的向量为：

A点指向相机在地面垂直投影点B的向量

即：

由此即可得出A点的大地坐标X,Y，进而可以获取大地坐标的多边形各点，其面积S为：

根据以上方法即可实现的地理信息映射，能够将故障面板对应的实际缺陷分布位置在可见光图像中进行呈现并获得对应的实际地理坐标。

在本申请的一些实施例中，图5示出了一种基于双光融合的光伏面板缺陷检测系统，应用于前述实施例提供的基于双光融合的光伏面板缺陷检测方法中。该种光伏面板缺陷检测系统同样用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位。

如图5所示，该种光伏面板缺陷检测系统可以包括：

获取单元001，用于获取热成像图像数据和可见光图像数据。

检测单元002，用于对热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对可见光图像进行可见光缺陷检测获取对应的第二检测结果。

校准单元003，用于根据预设参数，对热成像图像数据和可见光图像数据进行图像畸变矫正，以获取矫正的第一热成像图像和第一可见光图像。

双光融合单元004，用于根据第一检测结果、第二检测结果、第一热成像图像和第一可见光图像进行双光融合操作，以获取光伏面板缺陷分布情况。

定位单元005，用于根据光伏面板缺陷分布情况，获取存在缺陷的光伏面板的实际缺陷分布位置。

检测生成单元006，用于根据第一检测结果、第二检测结果以及实际缺陷分布位置，生成关联于存在缺陷的光伏面板的缺陷检测报告。

可以理解的是，上述获取单元001至检测生成单元006所执行的功能与前述步骤101至步骤106中的具体实施内容相一致，在此不做赘述。

在本申请的一些实施例中，还提供了一种基于双光融合的光伏面板缺陷检测设备，该种设备可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现本申请技术方案中说明的光伏面板缺陷检测方法的步骤。

可以理解的是，该种基于双光融合的光伏面板缺陷检测设备可以是集成有存储器和处理器的微型计算机，通过搭载在具备RTK设备的无人机的方式应用于前述实施例中，在此不做限定。

可以理解的是，本申请技术方案的各个方面可以实现为系统、方法或程序产品。因此，本申请技术方案的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图6根据本申请的一些实施例，示出了一种基于双光融合的光伏面板缺陷检测设备的结构示意图。下面参照图6来详细描述根据本实施例中的实施方式实施的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本申请技术方案任何实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述图像拼接方法区域中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1至图5中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)6201和/或高速缓存存储单元6202，可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图6中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

在本申请的一些实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时能够实现上述实施例中提供的基于双光融合的光伏面板缺陷检测方法的相关步骤。

尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本申请技术方案说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本申请技术方案中图像拼接方法区域中描述的根据本申请技术方案各种实施例中实施方式的步骤。

图7根据本申请的一些实施例示出了一种计算机可读存储介质的结构示意图。如图7所示，其中描述了根据本申请技术方案的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本申请技术方案中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一区域传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请技术方案操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、区域地在用户设备上执行、作为一个独立的软件包执行、区域在用户计算设备上区域在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，通过本申请提出的技术方案，能够利用计算机程序实现对政府单位颁布的政策信息进行批量化收集和分析评估，自动获得每项颁布政策对于所属产业的支持程度，节省了大量的人力和时间成本，能够客观量化便捷地获取各项颁布政策对于产业的支持力度或是打压力度，同时便于企业或是金融支持机构及时调整自身在相关产业后续的发展布局，具有可推广价值。

上述描述仅是对本申请技术方案较佳实施例的描述，并非对本申请技术方案范围的任何限定，本申请技术方案领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种基于双光融合的光伏面板缺陷检测方法，其特征在于，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位；

所述光伏面板缺陷检测方法包括：

获取所述热成像图像数据和所述可见光图像数据；

对所述热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对所述可见光图像数据进行可见光缺陷检测获取对应的第二检测结果；

根据预设参数，对所述热成像图像数据和所述可见光图像数据进行图像畸变矫正，以获取对应的矫正参数；

根据所述第一检测结果、所述第二检测结果以及所述矫正参数，对所述热成像图像数据和所述可见光图像数据进行双光融合操作，以获取光伏面板缺陷分布情况；

根据所述光伏面板缺陷分布情况，获取存在缺陷的所述光伏面板的实际缺陷分布位置；

根据所述第一检测结果、所述第二检测结果以及所述实际缺陷分布位置，生成关联于存在缺陷的所述光伏面板的缺陷检测报告。

2.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，在对所述热成像图像数据进行热成像缺陷检测获取对应的第一检测结果的过程中，还包括：

于所述热成像图像数据中，基于yolact算法获取每个所述光伏面板的图像掩膜；

对每个所述图像掩膜对应的最大热成像区域进行二值化处理以获取对应的识别区域；

于所述识别区域中，获取所述光伏面板对应的最小外接矩形，并将所述最小外接矩形作为所述光伏面板对应的检测判断区域；

于所述检测判断区域中判断所述光伏面板是否存在缺陷，以生成所述第一检测结果。

3.如权利要求1或2所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，所述第一检测结果包括所述光伏面板处于正常工况以及所述光伏面板内部组件出现温度异常工况。

4.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，在对所述可见光图像数据进行可见光缺陷检测获取对应的第二检测结果的过程中，还包括：

对所述可见光图像数据进行图像分割以获取满足预设目标检测网络的像素要求的检测图像；

根据所述预设目标检测网络对所述检测图像中是否存在缺陷进行检测，以生成所述第二检测结果。

5.如权利要求1或4所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，所述第二检测结果包括所述光伏面板处于正常工况以及所述光伏面板表面出现异常工况。

6.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，在根据预设参数对所述热成像图像数据和所述可见光图像数据进行图像畸变矫正的过程中，还包括：

根据预设的标记热成像图像以及标记可见光图像，获取所述热成像图像数据与所述可见光图像数据的初始配准参数；

根据所述标记热成像图像以及所述标记可见光图像对应的经纬度信息，获取所述可见光图像数据对应的实际距离偏差；

根据相机成像原理，将所述实际距离偏差映射至所述初始配准参数中，以获取所述矫正参数。

7.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法，其特征在于，在根据所述光伏面板缺陷分布情况获取存在缺陷的所述光伏面板的实际缺陷分布位置的过程中，还包括：

获取所述无人机于拍摄过程中的飞行姿态数据以及所述无人机于拍摄过程中的实际定位信息；

根据所述飞行姿态数据和所述实际定位信息，获取所述可见光图像数据中的图像像素坐标与地理信息坐标的映射关系；

根据所述第一检测结果和所述第二检测结果，在所述光伏面板出现非正常工况的情况下，获取所述光伏面板的图像像素坐标对应的地理信息坐标，并将所述地理信息坐标作为所述实际缺陷分布位置。

8.一种基于双光融合的光伏面板缺陷检测系统，其特征在于，应用于如权利要求1至7中任意一项所述的基于双光融合的光伏面板缺陷检测方法中，用于根据无人机拍摄获取的热成像图像数据和可见光图像数据对存在缺陷的光伏面板进行检测和定位；

所述光伏面板缺陷检测系统包括：

获取单元，用于获取所述热成像图像数据和所述可见光图像数据；

检测单元，用于对所述热成像图像数据进行热成像缺陷检测获取对应的第一检测结果，以及对所述可见光图像进行可见光缺陷检测获取对应的第二检测结果；

校准单元，用于根据预设参数，对所述热成像图像数据和所述可见光图像数据进行图像畸变矫正，以获取矫正的第一热成像图像和第一可见光图像；

双光融合单元，用于根据所述第一检测结果、所述第二检测结果、所述第一热成像图像和所述第一可见光图像进行双光融合操作，以获取光伏面板缺陷分布情况；

定位单元，用于根据所述光伏面板缺陷分布情况，获取存在缺陷的所述光伏面板的实际缺陷分布位置；

检测生成单元，用于根据所述第一检测结果、所述第二检测结果以及所述实际缺陷分布位置，生成关联于存在缺陷的所述光伏面板的缺陷检测报告。

9.一种基于双光融合的光伏面板缺陷检测设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7中任一项所述的基于双光融合的光伏面板缺陷检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于双光融合的光伏面板缺陷检测方法。

Images