CN115546670A - 一种基于改进的betr模型的光伏板红外图像热斑检测方法 - Google Patents

Abstract

本发明提出一种基于改进的BETR模型的光伏板红外图像热斑检测方法，包括步骤1、采集光伏板图像及光伏板红外热斑图像；步骤2、处理上述图像，利用处理后的图像分别构建第一、二光伏板数据集和光伏板红外热斑数据集；步骤3、构建改进的BETR模型；步骤4、利用第一光伏板数据集对改进的BETR模型进行预训练，利用迁移学习的思想用光伏板红外热斑数据集和第二光伏板数据集对预训练后的BETR模型进行正式训练得到优化的BETR模型；步骤5、利用优化的BETR模型对新图像进行识别，对识别得到的光伏板红外热斑的大小进行分类，统计每一类热斑的数量和位置信息，统计光伏板数量，将结果整合输出。上述方法对小目标的物体识别精度高，且能够统计光伏板的数量。

Description

一种基于改进的BETR模型的光伏板红外图像热斑检测方法

技术领域

本发明涉及光伏板红外图像热斑检测技术领域，尤其涉及一种基于改进的BETR模型的光伏板红外图像热斑检测方法。

背景技术

光伏发电是符合政策需求和市场需求的新能源供电方式，近几年光伏发电发展迅速。然而存在一些用户私自进行光伏增容的行为，这种行为从用户个人的角度来说会使家中电压超过居民用电最高电压，导致电器烧毁、甚至引发火灾等问题。如果用户私自增容，还会给所在区域的电网变压器带来安全隐患，影响整个地区的电网质量。如果光伏板存在异物遮挡，则会导致其短路电流小于组件工作的电流，使得部分光伏板处于反偏状态，消耗能量，因此表现为局部高温状态，产生热斑，极易引发安全事故。因此，定期检查光伏板的数量和状态对光伏板产业的发展具有重要作用。

针对光伏板的状态检测，目前已经存在一些检测方法，例如：公开号为CN114973032A的发明专利申请提出了一种基于深度卷积神经网络的光伏板热斑检测方法及装置，其利用改进的目标检测算法Yolov4构建光伏板识别模型，通过光伏板识别模型识别并截取光伏板红外图像中的光伏板；利用优化的语义分割算法DeepLabV3+构建热斑分割模型，通过热斑分割模型对截取到的光伏板上的热斑进行检测分割；但是该方法对于面积较小的热斑检测效果较差，且无法对光伏板的数量进行统计。公开号为CN114299033A的发明专利申请提出了一种基于YOLOv5的光伏板红外图像热斑检测方法及系统，该方法构建改进YOLOv5模型，使用训练好的改进YOLOv5模型对待检测的光伏组件图像进行检测，在对输出的检测框处理后，输出光伏组件类别信息；但是该方法没有针对面积较小的热斑的识别进行改进，仍存在对于面积较小的热斑检测效果较差的问题。

发明内容

为了解决现有技术中存在的问题，本申请提出了一种基于改进的BETR模型的光伏板红外图像热斑检测方法，改进的BETR模型的训练速度和识别速度更快，对于小目标的物体(例如面积较小的热斑)识别精度高，可以实现对光伏板红外热斑的大小进行分类和数量统计、记录光伏板红外热斑的位置信息，并且能够统计光伏板的数量。

为了实现上述目的，本申请提出了一种基于改进的BETR模型的光伏板红外图像热斑检测方法，包括以下步骤：

步骤1、通过无人机采集光伏板图像以及光伏板红外热斑图像；

步骤2、对光伏板图像以及光伏板红外热斑图像均进行数据增强处理，利用处理后的光伏板图像构建用于预训练的第一光伏板数据集，利用处理后的光伏板红外热斑图像和光伏板图像分别构建用于正式训练的光伏板红外热斑数据集和第二光伏板数据集；

步骤3、构建改进的BETR模型：利用特征金字塔代替原BETR模型中特征提取的主干网络；对位置编码器进行改进以增强对二维图像特征位置的记录能力；对FFN前馈网络进行改进以提高改进的BETR模型在训练时的收敛速度；

步骤4、利用步骤2得到的第一光伏板数据集对改进的BETR模型进行预训练，之后利用迁移学习的思想，利用步骤2得到的光伏板红外热斑数据集和第二光伏板数据集对预训练后的BETR模型进行正式训练，以对参数进行微调，得到优化的BETR模型；

步骤5、利用步骤4得到的BETR模型对新采集的光伏板红外热斑图像和光伏板图像进行识别，对识别得到的光伏板红外热斑的大小进行分类，统计每一类的热斑的数量和位置信息，并且统计光伏板的数量，将结果整合输出。

在一些实施例中，在所述步骤2中，数据增强处理过程如下：利用图像卷积算子

对图像进行锐化处理，将图像卷积算子和图像进行卷积操作，计算过程描述如下：

其中a′为0到2的整数，b′为0到2的整数，Kernel(a，b)是输入的图像卷积算子，csr(a，b)是输入的图像，指光伏板图像或光伏板红外热斑图像，对卷积操作后得到的图像进行翻转或大小尺度变换处理，其中对卷积操作后得到的图像进行大小尺度变换处理是将图像的像素值大小变换到240～678之间，之后对翻转或大小尺度变换处理后得到的图像进行多尺度滑动窗口采样操作。

在一些实施例中，在所述步骤3中，利用特征金字塔替换原BETR模型中用于特征提取的ResNet-50网络，特征金字塔负责将图像的特征进行提取，首先通过5个卷积层Conv1～Conv5提取图像特征，之后通过上采样和concat拼接将{Cobv2Conv3，Conv4}分别与FFB块得到的特征进行融合，之后再将{FFB，FFB}与{FFB2，FFB2}块得到的特征进行融合，之后在进行特征融合之前对金字塔层提取到的特征进行适应性特征池化操作，将不同维度的特征统一到同一个维度，之后对上述同一维度的各个特征进行特征融合，最终得到一个D₁*H*W₁的特征，其中D1表示特征的维度，H和W₁分别表示特征的高和宽。

在一些实施例中，在所述步骤3中，对位置编码器进行如下改进，对d₁*HW₁的特征中每个维度进行不同的标记，用segment embedding∈{1，2，3...N₁}标记特征的维度，其中d₁*HW₁的特征是利用一个1*1的卷积层将高维的特征降低到一个更小的维度d1而得到的，所述高维的特征指的是D₁*H*W₁的特征；使用position embedding标记同一维度上的各个图像特征的位置编码信息，position embedding公式表示如下：

其中，P表示位置编码信息，p表示当前特征在输入中的位置，2i用来表示偶数位置，2i+1表示奇数位置，d表示位置编码信息的特征向量的长度；之后将每个特征的segmentembedding和position embedding进行相加得到该特征的位置标记信息，最终将特征的位置标记信息和该特征的特征值进行相加得到编码器的输入特征。

在一些实施例中，在所述步骤3中，对FFN前馈网络进行的改进如下：使用ReLU6作为激活函数，隐藏维度数设计为d₄维，最后通过一个线性投影将特征还原，在映射层使用softmax函数预测目标函数的类别，最后输出分类结果；其中线性投影公式如下：y＝xW₂+B，其中W₂表示参数矩阵，B表示偏置矩阵，x表示输入，y表示输出。

在一些实施例中，在所述步骤4中，利用第一光伏板数据集对改进的BETR模型进行预训练，设置初始学习率为1e-2，设置学习率随着迭代次数的不断增加而减小；当改进的BETR模型收敛后，利用光伏板红外热斑数据集和第二光伏板数据集对预训练后的BETR模型进行正式训练，训练策略是先冻结主干网络，当改进的BETR模型收敛后再解冻主干网络，再次对BETR模型进行训练，对BETR模型的主干网络参数进行微调，得到优化的BETR模型；

其中，在所述步骤4中，训练过程中，BETR模型使用的整体损失函数L如下：

其中β，α，K表示三个超参数，L_iou表示iou的计算函数，||.||表示范数计算，a_i表示第i个预测类框和实际框的交集，a_γ(i)表示第i个预测类框和实际框的并集，

表示辅助损失函数；

L_iou的计算函数表达式为：

其中

表示面积计算，B(.)表示max/min的计算函数；

利用辅助损失函数

帮助transiormer的解码器校正输出结果，其表达式如下：

其中n表示二进制目标掩码，

表示BETR模型的原始掩码逻辑预测，relu表示激活函数。

在一些实施例中，在所述步骤5中，对光伏板红外热斑的大小进行分类和计数过程如下：用FFN前馈网络预测一组固定大小的E个边界框和E个输入图像框的中心坐标，用集合D表示，D可表示如下：

D＝{b_i＝(h_i，w_i)；O_i＝(O_x，O_y)，i＝1，2，3...N₃}；

其中b_i表示第i个边界框，O_i表示第i个输入图像框的中心坐标，(h_i，w_i)表示第i个边界框的高度和宽度，(O_x，O_y)表示输入图像框在x轴和y轴上的坐标，N₃比需要预测的目标对象数量要大得多，此外用一个标签θ表示检测区域内没有检测到任何对象；将检测到的热斑分为大小两类，设定划分热斑大小的阈值，在预测循环内部设置计数器，统计出每个类别光伏板热斑数量。

本申请的该方案的有益效果在于上述基于改进的BETR模型的光伏板红外图像热斑检测方法，其对获得的图像数据进行了数据增强，提高了数据的质量，构建的数据集有利于提高改进的BETR模型的鲁棒性和泛化能力；该方法提出了利用特征金字塔取代原来BETR模型中的ResNet-50对图像的特征进行提取，并对深层和浅层的特征进行了多次信息的融合，改进的BETR模型提高了对于小目标物体的特征的提取能力；该方法提出了对BETR模型原有的位置编码器进行重新设计，对于每一个维度的图像特征都进行了标注，提高BETR模型对于二维图像特征位置的记录能力；该方法还对FFN前馈网络进行了重新设计，增加了隐藏层的数量，提高识别精度，使用了ReLU6激活函数，保障了改进的BETR模型在训练时的收敛速度。改进的BETR模型的训练速度和识别速度更快，对于小目标的物体(例如面积较小的热斑)识别精度高，可以实现对光伏板红外热斑的大小进行分类和数量统计、记录光伏板红外热斑的位置信息，并且能够统计光伏板的数量。

附图说明

图1示出了实施例中基于改进的BETR模型的光伏板红外图像热斑检测方法的流程图。

图2示出了实施例中改进的BETR模型的整体结构图。

图3示出了实施例中使用的特征金字塔结构图。

图4示出了实施例中特征金字塔的部分内部块结构图。

图5示出了实施例中位置编码器的设计示意图。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步的说明。

如图1所示，本申请所涉及的基于改进的BETR模型的光伏板红外图像热斑检测方法包括以下步骤：

步骤1、通过无人机采集光伏板图像以及光伏板红外热斑图像。

步骤2、对光伏板图像以及光伏板红外热斑图像均进行数据增强处理，利用处理后的光伏板图像构建用于预训练的第一光伏板数据集，利用处理后的光伏板红外热斑图像和光伏板图像分别构建用于正式训练的光伏板红外热斑数据集和第二光伏板数据集。

在无人机航拍过程中，难免会出现有些图像拍得不够清晰的情况，因此为了使目标物体数据更清晰，在本步骤中对光伏板图像以及光伏板红外热斑图像均进行了数据增强处理，具体的数据增强处理过程如下：利用图像卷积算子

对图像进行锐化处理，将图像卷积算子和图像进行卷积操作，计算过程描述如下：

其中a′为0到2的整数，b为0到2的整数，Kernel(a，b)是输入的图像卷积算子，cxsr(a，b)是输入的图像，这里指光伏板图像或光伏板红外热斑图像，为了增加训练样本的数量，提高BETR模型的鲁棒性和泛化能力，对卷积操作后得到的图像进行翻转或大小尺度变换处理，其中对卷积操作后得到的图像进行大小尺度变换处理是将图像的像素值大小变换到240～678之间，之后对翻转或大小尺度变换处理后得到的图像进行多尺度滑动窗口采样操作。

利用处理后的光伏板图像以及光伏板红外热斑图像构建相应数据集的过程如下：使用labeIimg对数据增强处理后的光伏板图像和光伏板红外热斑图像进行标注，生成相应的xml文件，并将其转换成COCO数据集的格式。

步骤3、构建改进的BETR模型：利用特征金字塔代替原BETR模型中特征提取的主干网络；对位置编码器进行改进以增强对二维图像特征位置的记录能力；对FFN前馈网络进行改进以提高改进的BETR模型在训练时的收敛速度。改进的BETR模型能够提高针对小目标物体(例如面积较小的热斑)识别的准确性，如图2所示。

在本步骤中，利用特征金字塔替换原BETR模型中用于特征提取的ResNet-50网络。特征金字塔负责将图像的特征进行提取，如图3～4所示，首先通过5个卷积层Conv1～Conv5提取图像特征，然后通过上采样和concat拼接将{Conv2，Conv3，Conv4}分别与FFB块得到的特征进行融合，之后再将{FFB，FFB}与{FFB2，FFB2}块得到的特征进行融合，减少特征丢失的情况，最后在进行特征融合之前对金字塔层提取到的特征进行适应性特征池化(adaptive feature pooling)操作，将不同维度的特征统一到同一个维度，以方便后续的处理，之后对上述同一维度的各个特征进行特征融合，最终得到一个D₁*H*W₁的特征，其中D1表示特征的维度，H和W₁分别表示特征的高和宽。

在输入transformer的编码器前，利用一个1*1的卷积层将高维的特征降低到一个更小的维度d1，得到d₁*HW₁的特征，然后将特征展成1维的特征作为编码器输入。将特征展成一维后，特征相对位置丢失，为了提高BETR模型对二维图像特征位置的记录能力，因此对位置编码器进行改进。

具体的，对位置编码器进行如下改进，如图5所示：对d₁*HW₁的特征中每个维度进行不同的标记，用segment embedding ∈{1，2，3...N₁}标记特征的维度，相同维度标记相同的数字；使用position embedding标记同一维度上的各个图像特征的位置编码信息，position embedding公式表示如下：

其中，P表示位置编码信息，p表示当前特征在输入中的位置，2i用来表示偶数位置，2i+1表示奇数位置，d表示位置编码信息的特征向量的长度。之后将每个特征的segmentembedding和position embedding进行相加得到该特征的位置标记信息，最终将特征的位置标记信息和该特征的特征值进行相加得到编码器的输入特征。

编码器使用的是transformer的标准架构，由一个多头自注意力模块和FFN前馈网络组成，自注意力的输入可表示为：attn＝{X_q，X_k，N，M}；其中X_q表示长度q的查询序列，Xk是长度为k的键值查询向量，k和通道数d2的大小相同，N表示查询和键的权重张量，M表示投影矩阵。因此多头注意力机制可表示为：M＝{attn(X_q，X_k，N)；attn(X_q，X_k，N)...；attn(X_q，X_k，N)}。

解码器使用多头注意力机制，解码维度为d₃，为了加速BETR模型的识别速度，并行解码N₂个对象，解码器还输入了对象查询的位置编码信息。

对FFN前馈网络进行改进以提高改进的BETR模型在训练时的收敛速度，具体的改进如下：使用ReLU6作为激活函数，隐藏维度数设计为d₄维，最后通过一个线性投影将特征还原，在映射层使用softmax函数预测目标函数的类别，最后输出分类结果；其中线性投影公式如下：y＝xW₂+B，其中W₂表示参数矩阵，B表示偏置矩阵，x表示输入，y表示输出。

步骤4、利用步骤2得到的第一光伏板数据集对改进的BETR模型进行预训练，之后利用迁移学习的思想，利用步骤2得到的光伏板红外热斑数据集和第二光伏板数据集对预训练后的BETR模型进行正式训练，以对参数进行微调，得到优化的BETR模型。

在本步骤中，利用第一光伏板数据集对改进的BETR模型进行预训练，设置初始学习率为1e-2，为了提高收敛速度，设置学习率随着迭代次数的不断增加而减小。当改进的BETR模型收敛后，利用光伏板红外热斑数据集和第二光伏板数据集对预训练后的BETR模型进行正式训练，训练策略是先冻结主干网络，当改进的BETR模型收敛后再解冻主干网络，再次对BETR模型进行训练，对BETR模型的主干网络参数进行微调，得到优化的BETR模型。

在所述步骤4中，训练过程中，BETR模型使用的整体损失函数L如下：

其中β，α，K表示三个超参数，L_iou表示iou的计算函数，||.||表示范数计算，a_i表示第i个预测类框和实际框的交集，a_γ(i)表示第i个预测类框和实际框的并集，

表示辅助损失函数。

L_iou的计算函数表达式为：

其中

表示面积计算，B(.)表示max/min的计算函数。

利用辅助损失函数

帮助transiormer的解码器校正输出结果，其表达式如下：

其中n表示二进制目标掩码，

表示BETR模型的原始掩码逻辑预测，relu表示激活函数。

步骤5、利用步骤4得到的BETR模型对新采集的光伏板红外热斑图像和光伏板图像进行识别，对识别得到的光伏板红外热斑的大小进行分类，统计每一类的热斑的数量和位置信息，并且统计光伏板的数量，将结果整合输出。

在本步骤中，为了针对大型的热斑进行优先处理，需要对热斑大小进行分类并统计。具体的对光伏板红外热斑的大小进行分类和计数过程如下：用FFN前馈网络预测一组固定大小的E个边界框和E个输入图像框的中心坐标，用集合D表示，D可表示如下：

D＝{b_i＝(h_i，w_i)；O_i＝(O_x，O_y)，i＝1，2，3...N₃}；

其中b_i表示第i个边界框，Oi表示第i个输入图像框的中心坐标，(h_i，w_i)表示第i个边界框的高度和宽度，(O_x，O_y)表示输入图像框在x轴和y轴上的坐标，N₃比需要预测的目标对象数量要大得多，此外用一个标签θ表示检测区域内没有检测到任何对象。

将检测到的热斑分为大小两类，设定划分热斑大小的阈值，在预测循环内部设置计数器，统计出每个类别光伏板热斑数量。

本申请所涉及的基于改进的BETR模型的光伏板红外图像热斑检测方法，其对获得的图像数据进行了数据增强，提高了数据的质量，构建的数据集有利于提高改进的BETR模型的鲁棒性和泛化能力；该方法提出了利用特征金字塔取代原来BETR模型中的ResNet-50对图像的特征进行提取，并对深层和浅层的特征进行了多次信息的融合，改进的BETR模型提高了对于小目标物体的特征的提取能力；该方法提出了对BETR模型原有的位置编码器进行重新设计，对于每一个维度的图像特征都进行了标注，提高BETR模型对于二维图像特征位置的记录能力；该方法还对FFN前馈网络进行了重新设计，增加了隐藏层的数量，提高识别精度，使用了ReLU6激活函数，保障了改进的BETR模型在训练时的收敛速度。改进的BETR模型的训练速度和识别速度更快，对于小目标的物体(例如面积较小的热斑)识别精度高，可以实现对光伏板红外热斑的大小进行分类和数量统计、记录光伏板红外热斑的位置信息，并且能够统计光伏板的数量。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，根据本申请的技术方案及其构思加以等同替换或改变，都应涵盖在本申请的保护范围之内。

Claims (7)

1.一种基于改进的BETR模型的光伏板红外图像热斑检测方法，其特征在于：包括以下步骤：

步骤1、通过无人机采集光伏板图像以及光伏板红外热斑图像；

步骤2、对光伏板图像以及光伏板红外热斑图像均进行数据增强处理，利用处理后的光伏板图像构建用于预训练的第一光伏板数据集，利用处理后的光伏板红外热斑图像和光伏板图像分别构建用于正式训练的光伏板红外热斑数据集和第二光伏板数据集；

步骤3、构建改进的BETR模型：利用特征金字塔代替原BETR模型中特征提取的主干网络；对位置编码器进行改进以增强对二维图像特征位置的记录能力；对FFN前馈网络进行改进以提高改进的BETR模型在训练时的收敛速度；

步骤4、利用步骤2得到的第一光伏板数据集对改进的BETR模型进行预训练，之后利用迁移学习的思想，利用步骤2得到的光伏板红外热斑数据集和第二光伏板数据集对预训练后的BETR模型进行正式训练，以对参数进行微调，得到优化的BETR模型；

步骤5、利用步骤4得到的BETR模型对新采集的光伏板红外热斑图像和光伏板图像进行识别，对识别得到的光伏板红外热斑的大小进行分类，统计每一类的热斑的数量和位置信息，并且统计光伏板的数量，将结果整合输出。

2.根据权利要求1所述的基于改进的BETR模型的光伏板红外图像热斑检测方法，其特征在于：在所述步骤2中，数据增强处理过程如下：利用图像卷积算子

对图像进行锐化处理，将图像卷积算子和图像进行卷积操作，计算过程描述如下：

其中a′为0到2的整数，b′为0到2的整数，Kernel(a，b)是输入的图像卷积算子，csr(a，b)是输入的图像，指光伏板图像或光伏板红外热斑图像，对卷积操作后得到的图像进行翻转或大小尺度变换处理，其中对卷积操作后得到的图像进行大小尺度变换处理是将图像的像素值大小变换到240～678之间，之后对翻转或大小尺度变换处理后得到的图像进行多尺度滑动窗口采样操作。

3.根据权利要求2所述的基于改进的BETR模型的光伏板红外图像热斑检测方法，其特征在于：在所述步骤3中，利用特征金字塔替换原BETR模型中用于特征提取的ResNet-50网络，特征金字塔负责将图像的特征进行提取，首先通过5个卷积层Conv1～Conv5提取图像特征，之后通过上采样和concat拼接将{Conv2，Conv3，Conv4}分别与FFB块得到的特征进行融合，之后再将{FFB，FFB}与{FFB2，FFB2}块得到的特征进行融合，之后在进行特征融合之前对金字塔层提取到的特征进行适应性特征池化操作，将不同维度的特征统一到同一个维度，之后对上述同一维度的各个特征进行特征融合，最终得到一个D₁*H*W₁的特征，其中D₁表示特征的维度，H和W₁分别表示特征的高和宽。

4.根据权利要求3所述的基于改进的BETR模型的光伏板红外图像热斑检测方法，其特征在于：在所述步骤3中，对位置编码器进行如下改进，对d₁*HW₁的特征中每个维度进行不同的标记，用segment embedding∈{1，2，3...N₁}标记特征的维度，其中d₁*HW₁的特征是利用一个1*1的卷积层将高维的特征降低到一个更小的维度d₁而得到的，所述高维的特征指的是D₁*H*W₁的特征；使用position embedding标记同一维度上的各个图像特征的位置编码信息，position embedding公式表示如下：

其中，P表示位置编码信息，p表示当前特征在输入中的位置，2i用来表示偶数位置，2i+1表示奇数位置，d表示位置编码信息的特征向量的长度；之后将每个特征的segmentembedding和position embedding进行相加得到该特征的位置标记信息，最终将特征的位置标记信息和该特征的特征值进行相加得到编码器的输入特征。

5.根据权利要求4所述的基于改进的BETR模型的光伏板红外图像热斑检测方法，其特征在于：在所述步骤3中，对FFN前馈网络进行的改进如下：使用ReLU6作为激活函数，隐藏维度数设计为d₄维，最后通过一个线性投影将特征还原，在映射层使用softmax函数预测目标函数的类别，最后输出分类结果；其中线性投影公式如下：y＝xW₂+B，其中W₂表示参数矩阵，B表示偏置矩阵，x表示输入，y表示输出。

6.根据权利要求5所述的基于改进的BETR模型的光伏板红外图像热斑检测方法，其特征在于：在所述步骤4中，利用第一光伏板数据集对改进的BETR模型进行预训练，设置初始学习率为1e-2，设置学习率随着迭代次数的不断增加而减小；当改进的BETR模型收敛后，利用光伏板红外热斑数据集和第二光伏板数据集对预训练后的BETR模型进行正式训练，训练策略是先冻结主干网络，当改进的BETR模型收敛后再解冻主干网络，再次对BETR模型进行训练，对BETR模型的主干网络参数进行微调，得到优化的BETR模型；

其中，在所述步骤4中，训练过程中，BETR模型使用的整体损失函数L如下：

其中β，α，K表示三个超参数，L_iou表示iou的计算函数，||·||表示范数计算，a_i表示第i个预测类框和实际框的交集，a_γ(i)表示第i个预测类框和实际框的并集，

表示辅助损失函数；

L_iou的计算函数表达式为：

其中

表示面积计算，B(.)表示max/min的计算函数；

利用辅助损失函数

帮助transformer的解码器校正输出结果，其表达式如下：

其中n表示二进制目标掩码，

表示BETR模型的原始掩码逻辑预测，relu表示激活函数。

7.根据权利要求6所述的基于改进的BETR模型的光伏板红外图像热斑检测方法，其特征在于：在所述步骤5中，对光伏板红外热斑的大小进行分类和计数过程如下：用FFN前馈网络预测一组固定大小的E个边界框和E个输入图像框的中心坐标，用集合D表示，D可表示如下：

a＝{b_i＝(h_i，w_i)；O_i＝(O_x，O_y)，i＝1，2，3...N₃}；

其中b_i表示第i个边界框，O_i表示第i个输入图像框的中心坐标，(h_i，w_i)表示第i个边界框的高度和宽度，(O_x，O_y)表示输入图像框在x轴和y轴上的坐标，N₃比需要预测的目标对象数量要大得多，此外用一个标签θ表示检测区域内没有检测到任何对象；将检测到的热斑分为大小两类，设定划分热斑大小的阈值，在预测循环内部设置计数器，统计出每个类别光伏板热斑数量。

Images