CN116453056A - 目标检测模型构建方法和变电站异物入侵检测方法 - Google Patents

Abstract

本申请涉及一种目标检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取包括携带标注信息的第一样本集和未携带标注信息的第二样本集的初始目标检测训练集，基于初始目标检测训练集训练得到目标检测器，调用目标检测器对第二样本集进行目标检测，得到目标检测结果，然后，基于目标检测结果不断更新初始目标检测训练集，直至达到预设的迭代终止条件，得到目标检测训练集，并基于目标检测训练构建目标检测模型。采用本方法能得到精度更高的目标检测模型，支持高精度检测。本申请还提供了一种变电站异物入侵检测方法、装置、计算机设备、存储介质和计算机程序产品。采用该方法能够准确地检测出变电站中的入侵异物。

Description

目标检测模型构建方法和变电站异物入侵检测方法

技术领域

本申请涉及电力设备检测技术领域，特别是涉及一种目标检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品，以及一种变电站异物入侵检测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

变电站是电力系统中的重要组成部分，主要用于变换、配电、控制和保护电能。在变电站运行期间，各种设备和系统需要稳定地运行，以确保电力供应的连续性和可靠性。然而，变电站环境中常常存在各种异物，如油污、杂草、树叶、灰尘等，它们可能会对变电设备的运行造成不利影响。

为了及时发现和解决变电站异物入侵问题，保障变电设备的运行稳定性和可靠性，需要进行定期巡检。传统的巡检方式通常采用人工巡检，但人工巡检存在效率低以及容易漏检的问题。因此，出现了智能巡检的方式，智能巡检主要是通过机器视觉和图像识别技术对变电站设备的状况进行实时监测和识别，以快速发现和定位异物入侵问题。

然而，目前的智能巡检方案中，仍然存在异物入侵准确率不高的问题，影响变电站的安全稳定运行。

发明内容

基于此，有必要针对上述技术问题，提供一种能够支持准确的异物入侵检测的目标检测模型构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品、以及一种能够实现准确的异物入侵检测的变电站异物入侵检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种目标检测模型构建方法。方法包括：

获取初始目标检测训练集，初始目标检测训练集包括携带标注信息的第一样本集和未携带标注信息的第二样本集；

基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器；

调用目标检测器对第二样本集进行目标检测，得到目标检测结果，目标检测结果包括第二样本集中各样本的置信度；

从第二样本集中筛选出置信度高于预设第一置信度阈值的正样本预测集，以及置信度低于预设第二置信度阈值的负样本预测集，预设第一置信度阈值大于预设第二置信度阈值；

根据正样本预测集和负样本预测集，更新初始目标检测训练集，返回基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器的步骤，直至达到预设的迭代终止条件；

根据最新的初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测模型。

在其中一个实施例中，基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器包括：

调用第一样本集对预训练的目标检测网络进行训练，得到初始目标检测器；

采用初始目标检测器对第二样本集进行目标检测，得到初始目标检测结果，初始目标检测结果包括携带标注信息的第二样本集，标注信息包括置信度；

从携带标注信息的第二样本集中筛选出置信度高于预设第三置信度阈值的伪负样本集，预设第三置信度阈值小于预设第二置信度阈值；

基于第一样本集和伪负样本集，训练初始目标检测器，得到目标检测器。

在其中一个实施例中，从第二样本集中筛选出置信度高于预设第一置信度阈值的正样本预测集，以及置信度低于预设第二置信度阈值的负样本预测集之后，方法还包括：

根据第二样本集中各样本的置信度，确定正样本预测集中各预测正样本的分值以及负样本预测集中各预测负样本的分值，以更新正样本预测集和负样本预测集。

在其中一个实施例中，根据正样本预测集和负样本预测集，更新初始目标检测训练集之前，方法还包括：

根据第二样本集中各样本的置信度，确定正样本预测集中各预测正样本的分值以及负样本预测集中各预测负样本的分值，以更新正样本预测集和负样本预测集；

得到目标检测模型之后，方法还包括：

根据第二样本集中各样本的置信度，确定正样本预测集中各预测正样本的分值以及负样本预测集中各预测负样本的分值；

根据历次迭代确定的预测正样本的分值，确定预测正样本的平均分值，并将预测正样本的平均分值确定为预测正样本的权重，以及根据历次迭代确定的预测负样本的分值，确定预测负样本的平均分值，并将预测负样本的平均分值确定为预测负样本的权重；

根据预测正样本的权重和预测负样本的权重，重新计算目标检测模型的损失函数，更新目标检测模型。

第二方面，本申请还提供了一种目标检测模型构建装置。装置包括：

初始训练集获取模块，用于获取初始目标检测训练集，初始目标检测训练集包括携带标注信息的第一样本集和未携带标注信息的第二样本集；

目标检测器训练模块，用于基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器；

目标检测模块，用于调用目标检测器对第二样本集进行目标检测，得到目标检测结果，目标检测结果包括第二样本集中各样本的置信度；

数据筛选模块，用于从第二样本集中筛选出置信度高于预设第一置信度阈值的正样本预测集，以及置信度低于预设第二置信度阈值的负样本预测集，预设第一置信度阈值大于预设第二置信度阈值；

训练集更新模块，用于根据正样本预测集和负样本预测集，更新初始目标检测训练集，重新控制目标检测器训练模块执行基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器的操作，直至达到预设的迭代终止条件；

模型构建模块，用于根据最新的初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测模型。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述目标检测模型构建方法中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述目标检测模型构建方法中的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述目标检测模型构建方法中的步骤。

上述目标检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品，利用无标注的第二样本集(无标签数据)对初始目标检测训练集进行优化，能够帮助目标检测器更好地捕捉数据分布，提高目标检测器稳定性和鲁棒性，并且，区别于传统的仅将置信度大于预设第一置信度阈值的第二样本子集(正样本数据)加入初始目标检测训练集以更新初始目标检测训练集的做法，根据正样本预测集和负样本预测集不断地优化更新初始目标检测集，能够有效应对训练集中类别不平衡的问题，提高目标检测器的精度，进而使得通过目标检测器迭代优化得到的目标检测训练集中的标签数据更为精确，最后，基于目标检测训练集训练构建目标检测模型，能够使得目标检测模型的性能和准确性更高，以支持更为精确的目标检测方案。

第六方面，本申请提供了一种变电站异物入侵检测方法。所述方法包括：

获取变电站的实时监测图像；

调用已训练的异物入侵检测模型对实时监测图像进行异物入侵检测，识别得到异物入侵检测结果；

其中，异物入侵检测模型为基于变电站的历史监测图像，采用上述任一实施例所述的目标检测模型构建方法构建得到。

在其中一个实施例中，得到异物入侵检测结果之后，所述方法还包括：

若异物入侵检测结果表征实时监测图像中存在入侵异物时，发送预警消息。

第七方面，本申请还提供了一种变电站异物入侵检测装置。所述装置包括：

监测图像获取模块，用于获取变电站的实时监测图像；

异物入侵检测模块，用于调用已训练的异物入侵检测模型对实时监测图像进行异物入侵检测，得到异物入侵检测结果；

其中，异物入侵检测模型为基于变电站的历史监测图像，采用上述任一实施例所述的目标检测模型构建方法构建得到。

第八方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述异物入侵检测方法中的步骤。

第九方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述异物入侵检测方法中的步骤。

第十方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述异物入侵检测方法中的步骤。

上述变电站异物入侵检测方法、装置、计算机设备、存储介质和计算机程序产品，通过利用上述目标检测模型构建方法构建得到的异物入侵检测模型，能够使得异物入侵检测模型的性能和泛化能力更强，模型精度和鲁棒性更高，相应的，通过利用该异物检测入侵模型对变电站的实时监测图像进行异物入侵检测，能够快速准确地识别出变电站内部的入侵异物，及时发现安全隐患。

附图说明

图1为一个实施例中变电站异物入侵检测方法的应用环境图；

图2为一个实施例中目标检测模型构建方法的流程示意图；

图3为一个实施例中基于初始目标检测训练集，训练得到目标检测器步骤的流程示意图；

图4为另一个实施例中目标检测模型构建方法的详细流程示意图；

图5为又一个实施例中目标检测模型构建方法的详细流程示意图；

图6为一个实施例中变电站异物入侵检测方法的详细流程示意图；

图7为另一个实施例中变电站异物入侵检测方法的流程示意图；

图8为一个实施例中目标检测模型构建装置的结构框图；

图9为另一个实施例中目标检测模型构建装置的结构框图；

图10为一个实施例中变电站异物入侵检测装置的结构框图；

图11为另一个实施例中变电站异物入侵检测装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本申请实施例提供的变电站异物入侵检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。具体的，整个变电站异物入侵检测方法可以包括模型构建阶段以及基于构建的模型进行异物入侵检测阶段。

在模型构建阶段，可以是操作人员通过终端102上传初始目标检测训练集至服务器104，并通过终端102发送训练集优化消息至服务器104，服务器104响应该消息，获取初始目标检测训练集，初始目标检测训练集包括携带标注信息的第一样本集和未携带标注信息的第二样本集，基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器，调用目标检测器对第二样本集进行目标检测，得到目标检测结果，目标检测结果包括第二样本集中各样本的置信度，根据置信度，从第二样本集中筛选出正样本预测集和负样本预测集，负样本预测集为置信度低于预设第二置信度阈值的第二样本子集，正样本预测集为置信度高于预设第一置信度阈值的第二样本子集，目标检测器基于第一样本集和携带标注信息的第三样本集训练得到，根据正样本预测集和负样本预测集，更新初始目标检测训练集，返回基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器的步骤，直至达到预设的迭代终止条件，停止迭代，将当前的初始目标检测训练集确定为目标检测训练集，并基于目标检测训练集对预训练的目标检测网络进行训练，得到目标检测模型。

在基于构建的异物入侵检测模型进行异物入侵检测阶段，可以是变电站的运维人员预先采用上述任一实施例所述的目标检测模型构建方法构建得到异物入侵检测模型，并将异物入侵检测模型部署于服务器104，并预设异物入侵检测的触发条件。在实际应用中，终端102将接收到的变电站实时监测图像同步上传至服务器104，服务器104接收到实时监测图像时，便触发异物入侵检测，调用已训练的异物入侵检测模型对实时监测图像进行异物入侵检测，得到异物入侵检测结果。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种目标检测模型构建方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤S100，获取初始目标检测训练集，初始目标检测训练集包括携带标注信息的第一样本集和未携带标注信息的第二样本集。

初始目标检测训练集(以下可简称为初始训练集)为原始、未经过优化处理的用于进行目标检测的训练集。具体的，初始目标检测训练集包括有携带标注信息(标签数据)的第一样本集，以及未携带标注信息(标签数据)的第二样本集，其中，通常情况下，第一样本集中的样本通常包含有目标物体以及目标物体的标注信息，故，可将第一样本集理解为正样本集。而第二样本集未携带标注数据，但并不代表其中的样本全部都是负样本，其存在包含目标物体或不含包目标物体的可能，故可理解为伪负样本集。本实施例中，第一样本集和第二样本集中的样本可以是图像或视频。标注信息具体包括目标的所在的位置和置信度，置信度可视为目标物体所属类别的概率等。

具体实施时，可以是服务器响应终端发送的训练集优化消息，从预存的携带标注信息的数据集中随机抽取一部分样本作为第一样本集，从预存的未携带标注信息的数据集中随机抽取与第一样本集数量相同的样本作为第二样本集。以变电站异物检测为例，第一样本集可以是由包含有入侵物体且携带有巡检人员手动标记的标注信息的变电站图像组成，标注信息具体包括入侵异物所在的位置以及入侵异物的置信度等，相应的，标注信息可以记录在标注文件中。第二样本集由未携带标注信息的变电站图像组成，具体地，图像可以是与异物相似的背景，或者包含遗漏标注的入侵异物的图像。在实际应用中，由于标注信息是采用人工标注的方式，因此，标注人员往往会受到背景干扰和各方面其他因素的干扰，出现忘记在包含目标物体的图像中添加标注的问题(行业内简称漏标)。因此，第二样本集中包含的样本的数量通常是比较大的。

步骤S200，基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器。

目标检测器可以视为目标分类器，用于在图像或视频中识别和定位不同类别的目标物体。其通常使用深度学习算法，例如卷积神经网络，通过对输入数据进行多层次的特征提取和分类来实现目标检测。本实施例中，在获取上述初始目标检测训练集后，可以是基于第一样本集和第二样本集，对预训练的目标检测网络如RetinaNet进行训练，得到目标检测器。具体的，训练过程可以是：

(1)数据准备：对初始目标检测训练集中的图像或视频数据进行图像增强等处理。

(2)特征提取：使用预训练的目标检测网络对初始目标检测训练集中的图像或视频数据进行特征提取，得到多层次的特征图。

(3)候选框生成：在特征图上通过滑动窗口或锚点等方法生成多个候选框，用于表示可能包含目标物体的区域。

(4)标签匹配：对于每个候选框，根据其与真实目标之间的重叠程度，分配相应的类别标签和位置信息。

(5)损失函数计算与反向传播：根据分类和回归的预测值和真实值之间的差距计算损失值，并通过反向传播更新网络参数。

(6)NMS(Non-Maximum Suppression，非极大值抑制)处理：由于同一目标物体可能被多个候选框检测到，需要进行非极大值抑制(NMS)处理，筛选出最终的目标框。

可以理解的是，在其他实施例中，目标检测器还可以是Faster R-CNN(Regionbased Convolutional Neural Network，区域卷积神经网络)以及SSD(Single ShotMultiBox Detector，目标检测模型)等。

步骤S300，调用目标检测器对第二样本集进行目标检测，得到目标检测结果，目标检测结果包括第二样本集中各样本的置信度。

具体实施时，在获取第二样本集后，可调用已训练好的目标检测器对第二样本集中的样本进行目标检测，识别其中的不同类别的目标物体，并确定不同类别的目标的所在位置、所属类别的概率即置信度等，得到目标检测结果。具体地，目标检测器的目标检测过程可以包括以下步骤：

(1)预处理：对第二样本集中的图像或视频进行预处理，例如缩放、裁剪、归一化等操作，以便于后续处理。

(2)特征提取：使用卷积神经网络(CNN)等深度学习算法对处理后的图像或视频进行特征提取，得到多层次的特征图。

(3)候选框生成：在特征图上通过滑动窗口或锚点等方法生成多个候选框，用于表示可能包含目标物体的区域。

(4)特征分类：对于每个候选框，提取其特征向量，并使用分类器对其进行分类，判断其是否包含目标物体。

(5)边界框回归：对于被分类为包含目标物体的候选框，使用回归器进一步调整其位置和大小，以更准确地定位目标物体的边界框。

(6)NMS处理：由于同一目标物体可能被多个候选框检测到，需要进行非极大值抑制(NMS)处理，筛选出最终的目标框。

(7)根据应用需求，对目标检测结果进行后处理，如对目标类别进行识别。

步骤S400，从第二样本集中筛选出置信度高于预设第一置信度阈值的正样本预测集，以及置信度低于预设第二置信度阈值的负样本预测集。

承接上一实施例，在得到第二样本集中的各样本的目标检测结果后，各样本均添加了相应的标注信息，此时，可根据各样本的置信度，筛选出第二样本集中部分样本。具体的，可以是将高置信度的样本预测为正样本，如将置信度高于预设第一置信度阈值的第二样本确定为预测正样本，本实施例中，第一预设置信度阈值可以是0.7，预测正样本为被预测为正样本的样本。同时，将低置信度的样本预测为负样本，如将置信度低于预设第二置信度阈值的第二样本确定为预测负样本，本实施例中，预设第二置信度阈值可以是0.2，预测负样本为被预测为负样本的样本。随后，归集预测正样本，得到正样本预测集，归集预测负样本，得到负样本预测集。可以理解的是，第一置信度阈值和第二置信度阈值还可以是其他数值，具体根据实际情况而定。

步骤S500，根据正样本预测集和负样本预测集，更新初始目标检测训练集，返回步骤S200，直至达到预设的迭代终止条件进入步骤S600。

预设的迭代终止条件可以包括预设的迭代次数，或者多次迭代后得到正样本预测集的数量和达到预设的数量。本实施例中，区别于传统的PU-bagging方法，仅将置信度高于某个阈值预测为正样本的未标注的样本添加到标记数据集中的做法，在得到正样本预测集和负样本预测集后，可以是将正样本预测集和负样本预测集添加至第一样本集中，然后，合并更新后的第一样本集和原始的第二样本集，得到更新后的初始目标检测训练集。

具体地，可以是将正样本预测集和负样本预测集添加至第一样本集中，将正样本预测集中预测正样本的标签数据以及负样本预测集中预测负样本的标签数据添加至第一样本集对应的标签数据或标注文件中，以更新第一样本集，然后，合并更新后的第一样本集和原始的第二样本集，以更新初始目标检测训练集。然后，将更新后的初始目标检测集作为下一次目标检测器的训练集，再次训练得到目标检测器，再基于训练得到的目标检测器对未标注的第二样本集进行目标检测，以得到第二样本集中样本的标签数据。如此，重复步骤S200-步骤S500，以不断利用新训练出的精度更高的目标检测器对未标注的第二样本集进行目标检测，直至达到预设的迭代终止条件，停止迭代。此时，得到第二样本集的标签数据会更为精确，更新得到的初始目标检测训练集的质量也更高。需要说明的是，由于携带标注信息的预测负样本参与了目标检测器的训练，且预测负样本不仅包括真实负样本，还包括了实际是正样本的数据，因此，在目标检测过程中，在未标注的第二样本集中检测到正样本的数据较大的概率是正样本。

步骤S600，根据最新的初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测模型。

当迭代终止后，可将当前最新的初始目标检测训练集确定最终的目标检测训练集，将目标检测训练集重新作为预训练的目标检测网络的训练集，对预训练的目标检测网络进行训练，得到最终的精确的目标检测模型。具体的，模型训练过程可参见上述实施例中的训练方法，在此不再赘述。

上述目标检测模型构建方法中，利用无标注的第二样本集(无标签数据)对初始目标检测训练集进行优化，能够帮助目标检测器更好地捕捉数据分布，提高目标检测器稳定性和鲁棒性，并且，区别于传统的仅将置信度大于预设第一置信度阈值的第二样本子集(正样本数据)加入初始目标检测训练集以更新初始目标检测训练集的做法，根据正样本预测集和负样本预测集不断地优化更新初始目标检测集，能够有效应对训练集中类别不平衡的问题，提高目标检测器的精度，进而使得通过目标检测器迭代优化得到的目标检测训练集中的标签数据更为精确，最后，基于目标检测训练集训练构建目标检测模型，能够使得目标检测模型的性能和准确性更高，以支持更为精确的目标检测方案。

如图3所示，在其中一个实施例中，步骤S200包括：

步骤S220，调用第一样本集对预训练的目标检测网络进行训练，得到初始目标检测器。

步骤S240，采用初始目标检测器对第二样本集进行目标检测，得到初始目标检测结果，初始目标检测结果包括携带标注信息的第二样本集，标注信息包括置信度。

步骤S260，从携带标注信息的第二样本集中筛选出置信度高于预设第三置信度阈值的伪负样本集，预设第三置信度阈值小于预设第二置信度阈值。

步骤S280，基于第一样本集和伪负样本集，训练初始目标检测器，得到目标检测器。

伪负样本集为携带粗略的标注信息、可近似视作负样本(实际不一定为负样本)的样本集。本实施例中，区别于直接采用第一样本集和不携带标注信息的第二样本集训练得到目标检测器的做法，为了提高目标检测器的精度，可对未携带标注信息的第二样本集进行初步的目标检测，粗略地得到第二样本集中各样本的标注信息即标签数据。然后，再利用携带标注信息的第一样本集和携带标注信息的第二样本集训练得到目标检测器。

具体实施时，可以是先利用第一样本集(即正样本集)对预训练的目标检测网络进行训练，得到初始目标检测器。然后，采用初始目标检测器对第二样本集进行目标检测，得到初始目标检测结果，初始目标检测结果包括第二样本集中各样本的目标物体的标注信息，标注信息包括所在位置和置信度等。此时，第二样本集中的样本均携带有粗略的标注信息、然后，将第二样本集中高于预设第三置信度阈值的样本筛选出来，该类样本可能被识别为包含目标物体的样本，可将筛选出的样本确定为携带标注信息的伪负样本，归集伪负样本，得到伪负样本集。本实施例中，预设第三置信度阈值可以是0.01。然后，基于第一样本集和伪负样本集进一步训练初始目标检测器，得到目标检测器。具体的训练过程可参照上述实施例中所述的目标检测器的训练过程，在此不再赘述。本实施例中，先利用第一样本集训练得到初始目标检测器，通过利用携带粗略标注信息的伪负样本集和第一样本集进一步训练优化初始目标检测器，能够进一步提高目标检测器的精度和分类能力。可以理解的是，第三置信度阈值还可以是其他数值，具体根据实际情况而定。

如图4所示，在其中一个实施例中，步骤S500之前，方法还包括：

步骤S420，根据第二样本集中各样本的置信度，确定正样本预测集中各预测正样本的分值以及负样本预测集中各预测负样本的分值，以更新正样本预测集和负样本预测集。

本实施例中，样本的分值可基于样本的置信度确定，样本的分值可理解为样本的权重值。在每筛选出预测正样本和预测负样本后，可基于样本的置信度确定各样本的分值，以更新正样本预测集和负样本预测集。具体的，若样本的置信度以p表征，若样本预测为正样本的概率为p，则可将预测正样本的分值确定为p，预测负样本的分值确定为1-p。在另一些实施例中，还可以是若样本预测为正样本的概率为p，可将预测正样本的分值确定为log(p/(1-p))，其中log是自然对数，用于将概率值转换为得分。预测负样本的分值可为1-log(p/(1-p))。需要注意的是，当p＝0或p＝1时，log(p/(1-p))会变为负无穷大或正无穷大，为了避免这种情况出现，可将p限制在一个较小的区间内，例如[epsilon,1-epsilon]，其中epsilon是一个接近于0的小正数。可以理解的是，在其他实施例中，还可以是采用不同的方式，基于置信度确定样本的得分。本实施例中，通过样本的置信度确定样本的得分，更准确地评估每个未标记样本的重要性和可靠性，从而有针对性地选择样本进行训练，提高模型的性能。并且，样本的得分可以更好地反映其对目标检测任务的贡献，使得模型能够更加关注那些具有更高得分的、更有可能包含目标物体的样本，从而提高了检测的召回率和精度。

如图5所示，在其中一个实施例中，步骤S500之前，方法还包括：步骤S420，根据置信度，确定正样本预测集中各预测正样本的分值以及负样本预测集中各预测负样本的分值。

方法还包括：

步骤S700，根据历次迭代确定的预测正样本的分值，确定预测正样本的平均分值，并将预测正样本的平均分值确定为预测正样本的权重，以及根据历次迭代确定的预测负样本的分值，确定预测负样本的平均分值，并将预测负样本的平均分值确定为预测负样本的权重。

步骤S720，根据预测正样本的权重和预测负样本的权重，重新计算目标检测模型的损失函数，更新目标检测模型。

本实施例中，在每轮迭代过程中，筛选出正样本预测集和负样本预测集后，可基于样本的置信度确定样本的分值，具体的分值确定方式可参见上一实施例，在此不再赘述。按照上述方式，当完成多轮迭代，停止迭代后，每一个样本均记录有在每轮迭代过程中，目标检测器确定的分值。然后，可根据历次迭代确定的预测正样本的分值，确定预测正样本的平均分值，并将预测正样本的平均分值确定为预测正样本的权重，以及根据历次迭代确定的预测负样本的分值，确定预测负样本的平均分值，并将预测负样本的平均分值确定为预测负样本的权重，根据预测正样本的权重和预测负样本的权重，重新计算目标检测模型的损失函数，更新目标检测模型。

具体地，目标检测模型的损失函数可以Focal Loss，本实施例中，目标检测模型中还可以是使用不同的Focal Loss，分别用于置信度和类别预测。需要注意的是，在损失函数的计算过程中，所有增加的预测正样本和预测负样本的损失函数均需要乘以其对应的分数p或者(1-p)，而原始的第一样本集中的正样本的分数为1。

本实施例中，通过样本加权的方式，将样本其对应的得分作为其权重，重新计算损失函数，并更新目标检测模型，能够使得目标检测模型更关注那些得分较高、更有可能是真实正样本的样本，从而提高目标检测模型的召回率和准确率。

在一个实施例中，如图6所示，提供了一种变电站异物入侵检测模型方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤S800，获取变电站的实时监测图像。

变电站的实时监测图像包含有变电站环境信息。本实施例中，实时监测图像可以是多张监测图像，也可以是从实时监测视频数据中提取出的多张监测图像。一般来说，变电站环境中，常常会存在包括油污、杂草、树叶以及灰尘等异物，而这些异物可能会影响变电设备的散热效果，导致设备温度过高，从而影响设备的运行稳定性和寿命。也可能会引起设备的绝缘击穿，导致设备短路、爆炸等事故，造成电网故障和停电。此外，还有可能会阻塞设备的通风孔和散热器，导致设备无法正常散热，进而引起设备过热、烧毁等问题。因此，本申请采用了智能巡检的方式，对变电站是否存在异物进行检测。具体的，可以是运维人员采集变电站的历史监测图像，对部分的历史监测图像进行人工标注，然后基于携带有标注信息的历史监测图像和未携带标注信息的历史监测图像，构建初始异物入侵检测训练集，然后，基于初始异物入侵检测训练集，采用如上述实施例所述的目标检测模型构建方法，构建得到异物入侵检测模型，并将异物入侵检测模型部署在服务器上，并设置服务器的异物入侵触发条件，可以是当服务器接收到终端上传的变电站实时监测图像时，变触发异物入侵检测。

具体实施时，可以是通过图像采集设备如摄像头对变电站进行实时的图像采集，并且，摄像头可实时将采集到的监测图像发送给终端，终端再同步将接收到的变电站实时监测图像上传至服务器。

步骤S820，调用已训练的异物入侵检测模型对实时监测图像进行异物入侵检测，得到异物入侵检测结果。

本实施例中，异物入侵检测模型可以是基于初始异物入侵检测训练集，采用如上述实施例所述的目标检测模型构建方法，对YOLOv5(You Only Look Once version 5，你只需要一次扫描就能完成目标检测)模型进行训练和测试，得到异物入侵检测模型。YOLOv5模型是一种基于深度学习的实时目标检测算法，可以在一张图像中同时检测多个目标，并输出其类别和位置信息。本实施例中，YOLOv5使用了一种新的模型架构，称为CSPNet(CrossStage Paritial Network，跨阶段的平行网络)，这种架构利用了跨层连接和通道分离，提高了模型的性能和效率。整个模型由主干网络、检测头和损失函数三部分组成。具体地，YOLOv5的主干网络采用CSPNet结构，它由一个预处理层、一个卷积层、一个CSPDarknet53(YOLO V3骨干网络)网络和两个SPP层(spatial pyramid pooling layer，空间金字塔池化层)组成。其中CSPDarknet53网络是由若干个残差块组成，每个残差块内部也采用了CSPNet结构，能够有效提高特征提取的性能和效率。YOLOv5的检测头由若干个卷积层和一个最终的卷积层组成，它用来生成每个预测框的置信度、类别概率和位置信息。检测头的输出结果是一个三维张量，包含了所有预测框的信息。YOLOv5使用了一种新的损失函数，称为FocalLoss，它能够有效地解决正负样本不平衡的问题。Focal Loss的核心思想是对易分类的负样本加大惩罚力度，从而提高模型对于困难样本的识别能力。YOLOv5使用了两种不同的Focal Loss，分别用于置信度和类别预测。同样需要注意的是，所有增加的预测正样本和预测负样本的损失函数需要乘以对应的分数p或者(1-p)，而原始标注的正样本的分数为1。

具体的模型构建过程，可以是采集变电站的历史监测图像，对部分的历史监测图像进行人工标注，标注信息包括目标物体的类别和位置。然后基于携带有标注信息的历史监测图像和未携带标注信息的历史监测图像，采用如上述目标检测模型构建方法中的目标检测训练集优化过程，得到初始异物入侵检测训练集以及异物入侵测试集。然后，构建YOLOv5模型，可以使用预训练模型进行初始化，也可以重新构建YOLOv5模型开始训练。构建模型的过程包括定义模型结构、选择损失函数、设置超参数等操作。模型训练过程包括选择合适的优化器，如Adam(Adaptive moment estimation，适应性矩阵估计)、SGD(StochasticGradient Descent，随机梯度下降)，并设置学习率和学习次数，使用pytorch深度学习框架进行参数优化。

在实际应用中，当服务器获取到变电站实时监测图像后，触发异物入侵检测条件，进入异物入侵检测程序，可以是调用已训练的异物入侵检测模型，对实时监测图像进行异物入侵检测，得到异物入侵检测结果。具体的异物入侵检测过程可参见上述实施例中的目标检测器的目标检测过程，在此不再赘述。

上述变电站异物入侵检测方法中，通过利用上述目标检测模型构建方法构建得到的异物入侵检测模型，能够使得异物入侵检测模型的性能和泛化能力更强，模型精度和鲁棒性更高，相应的，通过利用该异物检测入侵模型对变电站的实时监测图像进行异物入侵检测，能够快速准确地识别出变电站内部的入侵异物，及时发现安全隐患。

如图7所示，在其中一个实施例中，得到异物入侵检测结果之后，所述方法还包括：步骤S840，若异物入侵检测结果表征实时监测图像中存在入侵异物时，发送预警消息。

承接上述实施例，若异物入侵检测模型输出的异物入侵检测结果表征当前实时监测图像存在入侵异物时，则发送预警消息至终端，否则，对下一实时监测图像进行异物入侵检测。本实施例中，通过在检测到入侵异物时发送预警消息，能够及时通知相关人员进行处理，以加强变电站的安全稳定运行。

在另一个实施例中，方法还包括：接收终端发送的异物入侵检测结果反馈数据，根据异物入侵检测结果反馈数据，更新异物入侵检测模型。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的目标检测模型构建方法的目标检测模型构建装置以及一种用于实现上述所涉及的变电站异物入侵检测方法的变电站异物入侵检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标检测模型构建装置实施例中的具体限定可以参见上文中对于目标检测模型构建方法的限定，多个变电站异物入侵检测装置实施例中的具体限定可以参见上文中对于变电站异物入侵检测方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种目标检测模型构建装置，包括：初始训练集获取模块810、目标检测器训练模块820、目标检测模块830、数据筛选模块840、训练集更新模块850和模型构建模块860，其中：

初始训练集获取模块810，用于获取初始目标检测训练集，初始目标检测训练集包括携带标注信息的第一样本集和未携带标注信息的第二样本集；

目标检测器训练模块820，用于基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器；

目标检测模块830，用于调用目标检测器对第二样本集进行目标检测，得到目标检测结果，目标检测结果包括第二样本集中各样本的置信度；

数据筛选模块840，用于从第二样本集中筛选出置信度高于预设第一置信度阈值的正样本预测集，以及置信度低于预设第二置信度阈值的负样本预测集，预设第一置信度阈值大于预设第二置信度阈值；

训练集更新模块850，用于根据正样本预测集和负样本预测集，更新初始目标检测训练集，重新控制目标检测器训练模块执行基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器的操作，直至达到预设的迭代终止条件；确定为目标检测训练集；

模型构建模块860，用于根据最新的初始目标检测训练集对所述预训练的目标检测网络进行训练，得到目标检测模型。

上述目标检测模型构建装置中，利用无标注的第二样本集(无标签数据)对初始目标检测训练集进行优化，能够帮助目标检测器更好地捕捉数据分布，提高目标检测器稳定性和鲁棒性，并且，区别于传统的仅将置信度大于预设第一置信度阈值的第二样本子集(正样本数据)加入初始目标检测训练集以更新初始目标检测训练集的做法，根据正样本预测集和负样本预测集不断地优化更新初始目标检测集，能够有效应对训练集中类别不平衡的问题，提高目标检测器的精度，进而使得通过目标检测器迭代优化得到的目标检测训练集中的标签数据更为精确，最后，基于目标检测训练集训练构建目标检测模型，能够使得目标检测模型的性能和准确性更高，以支持更为精确的目标检测方案。

在其中一个实施例中，目标检测器训练模块820还用于调用第一样本集对预训练的目标检测网络进行训练，得到初始目标检测器，采用初始目标检测器对第二样本集进行目标检测，得到初始目标检测结果，初始目标检测结果包括携带标注信息的第二样本集，标注信息包括置信度，从携带标注信息的第二样本集中筛选出置信度高于预设第三置信度阈值的伪负样本集，预设第三置信度阈值小于预设第二置信度阈值，基于第一样本集和伪负样本集，训练初始目标检测器，得到目标检测器。

如图9所示，在其中一个实施例中，装置还包括样本分值确定模块842，用于根据第二样本集中各样本的置信度，确定正样本预测集中各预测正样本的分值以及负样本预测集中各预测负样本的分值，以更新正样本预测集和负样本预测集。

如图9所示，在其中一个实施例中，装置还包括：模型更新模块870，用于根据置信度，确定正样本预测集中各预测正样本的分值以及负样本预测集中各预测负样本的分值，根据历次迭代确定的预测正样本的分值，确定预测正样本的平均分值，并将预测正样本的平均分值确定为预测正样本的权重，以及根据历次迭代确定的预测负样本的分值，确定预测负样本的平均分值，并将预测负样本的平均分值确定为预测负样本的权重，根据预测正样本的权重和预测负样本的权重，重新计算目标检测模型的损失函数，更新目标检测模型。

在其中一个实施例中，如图10所示，本申请还提供了一种变电站异物入侵检测装置，包括：监测图像获取模块910和异物入侵检测模块920，其中：

监测图像获取模块910，用于获取变电站的实时监测图像；

异物入侵检测模块920，用于调用已训练的异物入侵检测模型对实时监测图像进行异物入侵检测，得到异物入侵检测结果；

其中，异物入侵检测模型为基于变电站的历史监测图像，采用上述任一实施例所述的目标检测模型构建方法构建得到。

如图11所示，在其中一个实施例中，变电站异物入侵检测装置还包括预警消息发送模块940，用于若异物入侵检测结果表征实时监测图像中存在入侵异物，则发送预警消息。

上述目标检测模型构建装置和变电站异物入侵检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储初始目标检测训练集或者变电站实时监测图像等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测模型构建方法或变电站异物入侵检测方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述目标检测模型构建方法或变电站异物入侵检测方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述目标检测模型构建方法或变电站异物入侵检测方法中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述目标检测模型构建方法或变电站异物入侵检测方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标检测模型构建方法，其特征在于，所述方法包括：

获取初始目标检测训练集，所述初始目标检测训练集包括携带标注信息的第一样本集和未携带标注信息的第二样本集；

基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器；

调用所述目标检测器对所述第二样本集进行目标检测，得到目标检测结果，所述目标检测结果包括所述第二样本集中各样本的置信度；

从所述第二样本集中筛选出置信度高于预设第一置信度阈值的正样本预测集、以及置信度低于预设第二置信度阈值的负样本预测集，所述预设第一置信度阈值大于所述预设第二置信度阈值；

根据所述正样本预测集和所述负样本预测集，更新所述初始目标检测训练集，返回所述基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器的步骤，直至达到预设的迭代终止条件；

根据最新的初始目标检测训练集对所述预训练的目标检测网络进行训练，得到目标检测模型。

2.根据权利要求1所述的目标检测模型构建方法，其特征在于，所述基于初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器包括：

调用所述第一样本集对预训练的目标检测网络进行训练，得到初始目标检测器；

采用所述初始目标检测器对所述第二样本集进行目标检测，得到初始目标检测结果，所述初始目标检测结果包括携带标注信息的第二样本集，所述标注信息包括置信度；

从所述携带标注信息的第二样本集中筛选出置信度高于预设第三置信度阈值的伪负样本集，所述预设第三置信度阈值小于所述预设第一置信度阈值；

基于所述第一样本集和所述伪负样本集，训练所述初始目标检测器，得到所述目标检测器。

3.根据权利要求1或2所述的目标检测模型构建方法，其特征在于，所述根据所述正样本预测集和所述负样本预测集，更新所述初始目标检测训练集之前，还包括：

根据所述第二样本集中各样本的置信度，确定所述正样本预测集中各预测正样本的分值以及所述负样本预测集中各预测负样本的分值，以更新所述正样本预测集和所述负样本预测集。

4.根据权利要求1或2所述的目标检测模型构建方法，其特征在于，

所述根据所述正样本预测集和所述负样本预测集，更新所述初始目标检测训练集之前，还包括：

根据所述置信度，确定所述正样本预测集中各预测正样本的分值以及所述负样本预测集中各预测负样本的分值，以更新所述正样本预测集和所述负样本预测集；

所述得到目标检测模型之后，所述方法还包括：

根据历次迭代确定的预测正样本的分值，确定预测正样本的平均分值，并将预测正样本的平均分值确定为预测正样本的权重，以及根据历次迭代确定的预测负样本的分值，确定预测负样本的平均分值，并将预测负样本的平均分值确定为预测负样本的权重；

根据所述预测正样本的权重和所述预测负样本的权重，重新计算所述目标检测模型的损失函数，更新所述目标检测模型。

5.一种变电站异物入侵检测方法，其特征在于，所述方法包括：

获取变电站的实时监测图像；

调用已训练的异物入侵检测模型对所述实时监测图像进行异物入侵检测，得到异物入侵检测结果；

其中，所述异物入侵检测模型为基于变电站的历史监测图像，采用如权利要求1-4任意一项所述的目标检测模型构建方法构建得到。

6.一种目标检测模型构建装置，其特征在于，所述装置包括：

初始训练集获取模块，用于获取初始目标检测训练集，所述初始目标检测训练集包括携带标注信息的第一样本集和未携带标注信息的第二样本集；

目标检测器训练模块，用于基于所述初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器；

目标检测模块，用于调用所述目标检测器对所述第二样本集进行目标检测，得到目标检测结果，所述目标检测结果包括所述第二样本集中各样本的置信度；

数据筛选模块，用于从所述第二样本集中筛选出置信度高于预设第一置信度阈值的正样本预测集，以及置信度低于预设第二置信度阈值的负样本预测集，所述预设第一置信度阈值大于所述预设第二置信度阈值；

训练集更新模块，用于根据所述正样本预测集和所述负样本预测集，更新所述初始目标检测训练集，重新控制所述目标检测器训练模块执行基于所述初始目标检测训练集对预训练的目标检测网络进行训练，得到目标检测器的操作，直至达到预设的迭代终止条件；

模型构建模块，用于根据最新的初始检测训练集对所述预训练的目标检测网络进行训练，得到目标检测模型。

7.一种异物入侵检测装置，其特征在于，所述装置包括：

监测图像获取模块，用于获取变电站的实时监测图像；

异物入侵检测模块，用于调用已训练的异物入侵检测模型对所述实时监测图像进行异物入侵检测，得到异物入侵检测结果；

其中，所述异物入侵检测模型为基于变电站的历史监测图像，采用如权利要求1-4任意一项所述的目标检测模型构建方法构建得到。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4、或5中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4、或5中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4、或5中任一项所述的方法的步骤。