一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存
储介质及电子设备
技术领域
本发明属于计算机视觉中的图像信息处理技术领域,具体涉及一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备。
背景技术
电网是国民经济的重要命脉,在现代能源供应体系中发挥着重要的枢纽作用,而变电站工程是电网工程建设的重要内容,快速全面监测变电站工程施工进度是管理工作的重中之重。现有的利用作业票的方式判断施工进度费时费力,目前,变电站工程施工建设数据的获取方式主要依靠施工期数字化监控视频图像管控和航空摄影测量技术手段,这些图像数据尚未高效利用。
随着智能电网的建设与发展以及巡检机器人、无人机和视频监控的推广应用,电力部件的定位与识别以及缺陷检测成为当前的研究热点。这将推动电力设备的监测和生产管理逐步实现智能化,变压器作为电网中重要的能量转换设备,其监测管理对保障电网安全运行具有重要意义。在现有的方法中对电力部件的检测大多使用人工特征的方法如:HOG(Histogram of Oriented Gridients)、SIFT(Scale-invariant feature transform)等;使用自适应阈值和基于电力部件的轮廓的方法进行目标分割。这些方法大多都是针对不同类别来设计特征,其检测准确率低且不具有泛化性。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足,提供一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备。
本发明采用的技术方案是:一种聚焦关键特征的轻量型主变压器智能检测方法,包括以下步骤:
S1:获取变电站工程无人机航飞正射影像,对正射影像进行数据增强的预处理得到输入数据I,将输入数据I分成网络训练所需要的训练集、验证集和测试集;
S2:构建模型的轻量型主干网络,将输入数据I输入到编码器中,输入数据I经过编码器的每一层操作都能获得一个新的特征图xl,l∈[1,2,3,4]表示第l层卷积层,输入数据I经过四层的卷积操作和下采样操作后,逐级增加语义信息,弱化低级特征,得到高维语义特征图x4;
S3:构建关键特征聚焦模块,通过对输入数据I在输入网络之前进行前景显著区域进行检测得到前景显著图O1;
S4:构建多尺度信息融合模块,使用空间金字塔池化模块对轻量型主干网络的特征图xl,l∈[1,2,3,4]的不同层次特征进行融合,得到多尺度特征图O2;
S5:构建注意力特征融合模块,对x4,O1,O2进行注意力级别的融合,并降维,输出融合特征图O3;
S6:构建检测头,将融合特征图O3输入到检测头中,同时建立相应的损失函数,通过损失函数对模型进行约束优化,得到训练好的检测模型,利用该检测模型对测试集进行预测,对主变压器进行精准定位。
上述步骤S1中具体包括以下步骤:
S1.1:获取变电站工程无人机航飞正射影像,对正射影像裁剪为n像素×n像素的若干图片;
S1.2:对裁剪后的图片利用标注工具Labelimg按照VOC数据集格式进行数据标注,将标注好的数据保存为XML文件,该XML文件记录了目标物的左上角坐标和右下角坐标信息作为标签数据,将图片和对应的标签数据按照一定比例进行划分,构成输入数据I的训练集、验证集和测试集;
S1.3:对训练集、验证集图像数据进行数据增强处理,包括旋转、镜像翻转、光照调整,并添加高斯噪声点以丰富样本数据的多样性,以防止模型训练过拟合。
上述步骤S2中,构建轻量型主干网络的过程包括:
轻量型主干网络以RGB影像输入数据I∈R3×H×W作为输入,输入数据I由三通道,尺寸为H×W构成,编码器是由连续的多个卷积操作和下采样操作构成,以增加通道维度为代价,分离像素来获取它们的高阶语义信息;
构建编码器包括以下子步骤:
S2.1:将编码器分为四层,每一层都包括两次卷积操作和一次下采样操作,卷积操作包括一个卷积层,且对每个卷积层都应用一个线性变换函数和一个非线性激活函数;
S2.2:设置卷积操作和下采样操作中的参数,分别设置不同的kernel size、stride、padding以及dilation;
S2.3:将输入数据I输入到编码器中,输入数据I经过每一层操作都能获得一个新的特征图xl,l∈[1,2,3,4]表示第l层卷积层,经过每一层的卷积操作和下采样操作后,xl的通道维数和尺寸也在依次变化,分别为:
S2.4:每一层获得的特征图xl将作为下一层的输入特征图,输入数据I∈R3×H×W经过四层的编码器后,获得一个高维语义特征图x4。
上述步骤S3中,构建主变压器关键特征聚焦模块包括以下步骤:
S3.1:利用图割算法获取输入数据I的前景分割图,即获取主变压器的图割粗略图G;
S3.2:计算前景分割粗略图G的频域特征,获得频域特征图salFre;
S3.3:将频域特征图salFre带入聚焦的Focusness特征中进行计算,以进一步屏蔽背景信息,从而得到频域信息聚焦特征图FF;
S3.4:利用基于梯度的分水岭分割算法获取输入数据I的粗分割图S;
S3.5:将粗分割图S与频域信息聚焦特征FF进行融合,得到前景显著图O1。
上述步骤S4中,构建多尺度信息融合模块包括以下步骤:
S4.1:对轻量型主干网络的特征图xl,l∈[1,2,3,4]使用空间金字塔池化模块,并以不同空洞率的空洞卷积调节ASPP参数,获取不同尺度特征的上下文信息,即特征图al,l∈[1,2,3,4];
S4.2:对以上特征图al进行双线性插值采样并融合,得到多尺度特征图O2。
上述步骤S5中,构建注意力特征融合模块是利用注意力机制的方式关注融合后特征图的显著区域,抑制不相关的背景区域,从而实现前景显著图O1、多尺度特征图O2与高维语义特征图x4的融合。
上述步骤S6中,建立相应的类别损失函数Lcls、边界框回归损失函数Lbox和置信度损失函数Lobj,总损失函数为L=Lcls+Lbox+Lobj;经过n次迭代,得到训练好的检测模型。
一种用于实现所述聚焦关键特征的轻量型主变压器智能检测方法的系统,包括
图像获取分析模块,用于获取变电站工程无人机航飞正射影像,对正射影像进行数据增强的预处理得到输入数据I,将输入数据I分成网络训练所需要的训练集、验证集和测试集;
轻量型主干网络模型构建模块,用于构建模型的轻量型主干网络,将输入数据I输入到编码器中,I经过编码器的每一层操作都能获得一个新的特征图xl,l∈[1,2,3,4]表示第l层卷积层,输入数据I经过四层的卷积操作和下采样操作后,逐级增加语义信息,弱化低级特征,得到高维语义特征图x4;
关键特征聚焦模块,用于对输入数据I在输入网络之前进行前景显著区域进行检测得到前景显著图O1;
多尺度信息融合模块,用于使用空间金字塔池化模块对轻量型主干网络的特征图xl,l∈[1,2,3,4]的不同层次特征进行融合,得到多尺度特征图O2;
注意力特征融合模块,用于对x4,O1,O2进行注意力级别的融合,并降维,输出融合特征图O3;
输出模块,用于构建检测头,将融合特征图O3输入到检测头中,同时建立相应的损失函数,通过损失函数对模型进行约束优化,得到训练好的检测模型,利用该检测模型对测试集进行预测,对主变压器进行精准定位。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述的聚焦关键特征的轻量型主变压器智能检测方法的步骤。
一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的聚焦关键特征的轻量型主变压器智能检测方法的步骤。
本发明将图像识别应用于变电站施工进度监测中,可有效提高变电站施工监测效率,进一步提升对主变压器的精准管控能力,推动投资管理数字化转型。
本发明能够实现在复杂场景下的高分辨率遥感影像中精准检测主变压器,对主变压器的动态、实时监测具有一定的参考价值。
附图说明
图1为本发明流程示意图;
图2为本发明方法所提出的网络结构;
图3为本发明方法中基于频域信息聚焦特征方法结果图;
图4为本发明方法中基于梯度的分水岭分割算法结果图;
图5为本发明方法中空洞空间金字塔池化(ASPP)模块示意图;
图6为本发明方法中基于注意力的特征融合(AFF)模块示意图;
图7为本发明方法实施例结果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明,便于清楚地了解本发明,但它们不对本发明构成限定。
如图1、图2所示,本发明一种聚焦关键特征的轻量型主变压器智能检测方法包括以下步骤:
步骤1:获取变电站工程无人机航飞正射影像,对正射影像进行数据增强的预处理操作,并分成网络训练所需要的训练集、验证集和测试集,以满足数据的多样性,避免模型的过拟合;本发明实施例中收集到多个变电站工程航飞正射影像,将影像空间分辨率抽稀至0.1米,其次对收集到的影像进行裁剪,裁剪为512像素×512像素大小的若干小图,然后通过人工筛选及手动标注,将主变压器的位置信息和类别信息记录在标签文件XML文件中,标注的数据即为训练集、验证集和测试集;对训练集、验证集图像数据进行数据增强处理,包括旋转、镜像翻转、光照调整,并添加高斯噪声点以丰富样本数据的多样性,以防止模型训练过拟合。
具体包括以下子步骤:
S1.1:获取变电站工程无人机航飞正射影像,对正射影像裁剪为n像素×n像素的若干图片;
S1.2:对裁剪后的图片利用标注工具Labelimg按照VOC数据集格式进行数据标注,其目的是为了将图片中的所有主变压器按照规则矩形框标注出来,将标注好的数据保存为XML文件,该XML文件记录了目标物的左上角坐标和右下角坐标信息作为标签数据,将图片和对应的标签数据按照一定比例进行划分,构成训练集、验证集和测试集;
S1.3:对训练集、验证集图像数据进行数据增强处理,包括旋转、镜像翻转、光照调整,并添加高斯噪声点以丰富样本数据的多样性,以防止模型训练过拟合。
步骤2:构建模型的轻量型主干特征提取网络。轻量型主干网络模块以RGB影像I∈R3×H×W作为输入,I由三通道,尺寸为H×W构成。编码器是由连续的多个卷积操作和下采样操作构成,以增加通道维度为代价,分离像素来获取它们的高阶语义信息。构建编码器的具体步骤包括以下子步骤:
S2.1:将编码器分为四层,每一层都包括两次卷积操作和一次下采样操作,具体地,卷积操作包括一个卷积层,且对每个卷积层都应用一个线性变换函数和一个非线性激活函数;;
S2.2:设置卷积操作和下采样操作中的参数,分别设置不同的kernel size、stride、padding以及dilation;
S2.3:将输入数据I输入到编码器中,输入数据I经过每一层操作都能获得一个新的特征图xl,l∈[1,2,3,4]表示l层卷积层,经过每一层的卷积操作和下采样操作后,xl的通道维数和尺寸也在依次变化,分别为:
S2.4:每一层获得的特征图xl将作为下一层的输入特征图,输入数据I∈R3×H×W经过四层的编码器后,最终获得一个高维语义特征图x4。
步骤3:构建主变压器关键特征聚焦模块,添加先验信息辅助。该模块主要通过对输入数据I在输入网络之前进行前景显著区域进行检测,这里主要基于频域信息聚焦特征方法(Fre_Focus)和基于梯度分水岭分割方法对前景显著性区域进行检测,突出主变压器在前景中的显著显示,该步骤得到前景显著图O1。具体包括以下子步骤:
S3.1:利用图割(Graph Cut)算法获取影像图片输入数据I的前景分割图,即获取主变压器的图割粗略图G,如图3所示。Graph Cut利用最小割最大流算法进行图像的分割,可以将图像分割为前景和背景。使用该算法时需要在前景和背景处各画几笔作为输入,算法将建立各个像素点与前景背景相似度的赋权图,并通过求解最小切割来区分前景和背景。假设整幅影像表示为:I={l1,l2,...lp},其中li为对应的像素值。那假设图像的分割为l时,图像的能量函数可以表示为:
E(I)=aR(I)+B(I)
其中,R(I)为区域项,B(I)为边界项,a则为区域项和边界项之间的重要因子,决定它们对能量的影响大小。E(I)表示权重,即损失函数,图割的目标就是优化能量函数使其值达到最小。
S3.2:计算前景分割粗略图G的频域特征,获得频域特征图salFre。为了有效利用视觉预测焦点,采用改进的HFT定位显著性区域,得到显著性目标轮廓,即频域特征图。HFT模型采用信息熵最小的方法选择了特征图。由于不同尺度的特征图所表达的信息的重要性是不同的,均不应该被忽略,因此最后的频域特征图为:
salFre=min(G)+(1/H(G))·G,if H(G)<Haveg
其中,min(G)是尺度空间中熵值最小的特征图,H(·)是特征图的熵值,Haveg是尺度空间所有特征图的平均熵。
S3.3:将频域特征图salFre带入聚焦的Focusness特征中进行计算,以进一步屏蔽背景信息,从而得到频域信息聚焦特征图Fre_Focus,即FF,如图2所示。Focusness特征主要用于定位焦点,而焦点的等级又与图像的模糊程度相关,模糊度越低,焦点的等级越高。频域特征图的背景较干净,并且是聚焦的、模糊的,这正好与Focusness特征不谋而合。因此,本发明将频域特征代入聚焦的Focusness特征中进行计算,以进一步屏蔽背景信息,从而得到Fre_Focus特征。该算法的具体实现步骤如下:
(1)输入模糊频域显著图salFre。
(2)在多个尺度(1,2,…,16)上计算像素点x的DOG响应:
其中,是DOG算子;/>和σ=λc是尺度,即边缘模糊度;c是CoC直径;t是位置。在边缘像素附近,当t=0时,响应达到最大值,因此边界像素响应为:
其中,h用于描述垂直边缘的一维边缘模型IE(x):
估计一阶导数f′Fre:
f′Fre=(fFre(j)-fFre(j-1)),j=2,3,…,16
计算像素点x的模糊等级:
计算像素点x的Fre_Focus值:
计算区域sp的Fre_Focus值:
其中,Bi是区域,spi的边界像素集,其像素个数是mi,Ei是区域,spi的内部边缘像素集,其像素个数是ni。然后再将区域的Fre_Focus值转换为相应像素的显著值,得到Fre_Focus特征图,即FF。
S3.4:利用基于梯度的分水岭分割算法获取影像图片输入数据I的粗分割图S,如图4所示。首先对影像进行改进后的形态学梯度的预处理,使得过分割现象明显减少。其次,通过对分水岭分割后的过分割区域进行区域合并来减少过分割区域。由于图像经求取形态学梯度图后转化为相应256级灰度图像,在进行分水岭分割后,图中各区域的灰度具有一定的均匀性质,同时相邻区域之间有一定的相似性以及连通性。
S3.5:将粗分割图S与频域信息聚焦特征FF进行融合,得到前景显著图O1,突出主变压器在前景中的显著显示。
步骤4:构建多尺度增强模块,强化多尺度特征的低级特征、高级语义信息。包括以下步骤:
S4.1:为了强化特征图的多尺度特性,对来自主干网络的特征图xl,l∈[1,2,3,4]使用空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块,对主干网络的不同层次特征进行融合,从而缓解主变压器因尺度大小而带来的漏检问题,如图5所示,并以不同空洞率的空洞卷积调节ASPP参数,获取不同尺度特征的上下文信息,即特征图al,l∈[1,2,3,4]。通过对单个尺度提取的卷积特征xl进行重采样,可以对任意尺度的区域进行准确有效的分类。因此,使用具有不同采样率的多个并行空洞卷积层,为每个采样率提取的特征在单独的分支中进一步处理,并融合以生成最终结果al。
S4.2:为了统一特征图的尺寸大小,对以上特征图al,l∈[1,2,3,4]进行双线性插值采样并执行通道融合,最终得到多尺度特征图O2。
步骤5:构建注意力特征融合模块(Attention Feature Fusion,AFF),如图6所示,以利用注意力机制的方式关注融合后特征图的显著区域,抑制不相关的背景区域,从而实现前景显著图O1、多尺度特征图O2与高维语义特征图x4的完美融合。具体为,对x4,O1,O2特征执行基于注意力的特征融合模块进行特征融合,并降维,该模块输出特征设为O3。基于注意力的特征融合模块的具体操作如下:
对于给定输入特征图Z∈RG×H×W,G是特征图的通道大小,H×W是特征图的尺寸大小,G(Z)∈RG×H×W,表示全局通道信息,具体计算过程如下:
局部通道信息L(Z)∈RG×H×W可以通过以下公式计算得到:
其中表示Batch Normalization,/>表示Rectified Linear Unit,PConv1和PConv2表示以不同卷积核大小进行的点卷积操作,其卷积核大小分别为/>和为通道衰减率。
最终,将全局信息G(Z)与局部信息L(Z)进行注意力融合得到精细化的特征Z′,可通过如下公式计算得到:
其中,W(Z)∈RG×H×W表示注意力权重,表示元素相乘,/>表示元素相加。
对x4,O1,O2特征分别执行基于注意力的特征增强操作,在利用通道相加进行特征融合,并降维,得到最终的融合特征图O3。
步骤6:构建检测头,将融合特征图O3输入到检测头中,同时建立相应的损失函数,通过损失函数对模型进行约束优化,得到训练好的检测模型,利用该检测模型对测试集进行预测,对主变压器进行精准定位。
S6.1:建立相应的类别损失函数Lcls、边界框回归损失函数Lbox和置信度损失函数Lobj,总损失函数L=Lcls+Lbox+Lobj。
其中类别损失函数Lcls为:
边界框回归损失函数Lbox为:
置信度损失函数Lobj为:
总损失函数L为:
L=Lcls+Lbox+Lobj
S6.2:构建检测头,主要用于预测目标的种类和位置(bounding boxes),最后输出检测结果,如图7所示。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。