CN117671278A - 电力图像数据处理方法、装置、设备、介质和程序产品 - Google Patents

电力图像数据处理方法、装置、设备、介质和程序产品 Download PDF

Info

Publication number
CN117671278A
CN117671278A CN202311368677.6A CN202311368677A CN117671278A CN 117671278 A CN117671278 A CN 117671278A CN 202311368677 A CN202311368677 A CN 202311368677A CN 117671278 A CN117671278 A CN 117671278A
Authority
CN
China
Prior art keywords
image
feature
power equipment
classification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311368677.6A
Other languages
English (en)
Inventor
谢志成
邓军
周海滨
伍衡
崔彦捷
潘志城
王竣
张良
陈伟
王奇
侯明春
庄池杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Corp Ultra High Voltage Transmission Co Electric Power Research Institute
Original Assignee
China Southern Power Grid Corp Ultra High Voltage Transmission Co Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Corp Ultra High Voltage Transmission Co Electric Power Research Institute filed Critical China Southern Power Grid Corp Ultra High Voltage Transmission Co Electric Power Research Institute
Priority to CN202311368677.6A priority Critical patent/CN117671278A/zh
Publication of CN117671278A publication Critical patent/CN117671278A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种电力图像数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取电力设备图像,并提取电力设备图像的原始特征数据;获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务;通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。采用本方法可以提高电力设备图像分类的准确率和效率。

Description

电力图像数据处理方法、装置、设备、介质和程序产品
技术领域
本申请涉及电力图像数据处理技术领域,特别是涉及一种电力图像数据处理方法、装置、设备、介质和程序产品。
背景技术
电力设备状态的识别和检测有助于保障电力系统安全稳定,但由于状态检测设备通常计算资源有限,对于电力设备的识别效率较低,检测速度较慢。对电力图像数据进行处理以提取关键信息,通过提取的信息来判断电力设备的状态逐渐成为电力设备状态的重要手段之一。由于电力数据包括电网的运行数据、设备的监测数据以及环境数据等多种数据,数据量较大且数据之间的关系较为复杂,通常基于深度学习技术对图像数据进行处理。
现有技术中通常采用基于深度学习的神经网络模型来对交直流设备的图像数据进行处理,以对电力设备进行状态监测。然而,当前的深度学习模型通常采用大规模、深层次的网络结构,网络参数庞大、结构复杂,难以部署在嵌入式和移动设备上,且数据处理的效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高数据处理效率的电力图像数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种电力图像数据处理方法,所述方法包括:
获取电力设备图像,并提取电力设备图像的原始特征数据;
获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务;
通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。
在其中一个实施例中,组合各特征向量,得到目标特征向量,包括:
对各特征向量进行归一化处理,得到多个归一化特征向量;
分别获取各归一化特征向量对应的权重值;
根据各权重值计算各归一化特征向量的加权和,得到目标特征向量。
在其中一个实施例中,在通过目标图像分类模型对原始特征数据进行特征提取之前,方法还包括:
对电力设备图像进行卷积运算,得到电力设备图像的初始卷积特征图;
对初始卷积特征图进行批量归一化处理,得到归一化卷积特征图;
对归一化卷积特征图进行最大池化处理,得到池化特征图,以池化特征图作为电力设备图像的原始特征数据。
在其中一个实施例中,所述方法还包括:
获取训练图像,并在训练图像中标注电力设备,得到电力设备的真实标签;
获取初始图像分类模型,将训练图像输入初始图像分类模型中,得到分类预测结果和与分类预测结果对应的类别概率,根据类别概率和对应的真实标签计算预设的损失函数的函数值;
使用预设的超参数调整算法调整初始图像分类模型的超参数,得到更新后的超参数,当损失函数值小于预设损失阈值时,以更新后的超参数作为目标图像分类模型的超参数。
在其中一个实施例中,在目标图像分类模型包括多个特征提取分支的情况下,使用预设超参数调整算法调整模型的超参数,得到更新后的超参数,包括:
将训练图像输入初始图像分类模型中,通过多个特征提取分支得到对应于训练图像的多个分类结果;
根据多个分类结果通过前向传播算法计算损失函数的值,根据损失函数的值计算输出层的梯度;
根据梯度通过反向传播算法更新初始图像分类模型的超参数。
在其中一个实施例中,在目标图像分类模型包括多个输出层的情况下,使用预设超参数调整算法调整模型的超参数,得到更新后的超参数,包括:
将训练图像输入初始图像分类模型中,通过多个输出层得到多个预测结果和对应于多个预测结果的损失函数值;
根据预设的损失函数权重计算多个损失函数值的加权和,以加权和的值为模型的总损失值;
以总损失值最小化为优化目标调整初始图像分类模型的超参数。
第二方面,本申请还提供了一种电力图像数据处理装置,所述装置包括:
数据获取模块,用于获取电力设备图像,并提取电力设备图像的原始特征数据;
模型获取模块,用于获取预训练的图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;多个特征提取分支中的每个特征提取分支分别对应于不同的分类任务,多个输出层中的每个输出层分别对应于不同的分类任务;
数据处理模块,用于通过图像分类模型对原始特征数据进行特征提取,得到与多个分类任务分别对应的多个特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取电力设备图像,并提取电力设备图像的原始特征数据;
获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务;
通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取电力设备图像,并提取电力设备图像的原始特征数据;
获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务;
通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取电力设备图像,并提取电力设备图像的原始特征数据;
获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务;
通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。
上述电力图像数据处理方法、装置、计算机设备、存储介质和计算机程序产品,获取电力设备图像,并提取电力设备图像的原始特征数据;可以捕获图像中的基本信息,例如纹理、颜色、形状,为后续的分类任务提供输入,可以减少数据的维度,提高计算效率;获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务;获取经过数据训练的模型可以提升分类的效率;通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别,可以通过每个分支或输出层获取特定任务的特征表示,将各个分类任务的特征向量组合成一个目标特征向量有助于整合不同任务的信息,提高分类性能,使分类结果更为全面和准确,可以提高电力设备图像分类的准确率和效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电力图像数据处理方法的应用环境图;
图2为一个实施例中电力图像数据处理方法的流程示意图;
图3为一个实施例中电力图像数据处理方法的流程示意图;
图4为一个实施例中目标图像分类模型的结构示意图;
图5为一个实施例中目标图像分类模型的结构示意图;
图6为一个实施例中残差块的结构示意图;
图7为一个实施例中目标图像分类模型的训练流程示意图;
图8为一个实施例中目标图像分类模型的训练过程的损失变化曲线图;
图9为一个实施例中目标图像分类模型的训练过程的损失变化曲线图;
图10为一个实施例中电力图像数据处理装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的电力图像数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。其中,终端102可以但不限于是各种图像采集装置,例如电力系统中的图像采集或视频监控装置,电力操作过程中操作人员所携带的手机、电脑或工作记录仪等设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中,如图2所示,提供了一种电力图像数据处理方法,以该方法应用于图1中的应用环境为例进行说明,包括以下步骤202至步骤206。其中:
步骤202,获取电力设备图像,并提取电力设备图像的原始特征数据。
其中,电力设备是指电力系统中用于发电、输电、分配、控制和维护电力系统的各种设备,例如发电机、太阳能光伏板、变压器、绝缘子、开关设备和GIS设备(Gas lnsulatedSwitchgear,气体绝缘开关设备)等。电力设备图像是指表征电力设备类型或电力设备运行状态的图像。原始特征数据是指图像中的原始像素值或像素点的属性,通常以数字形式表达,能够表征图像包含的基本信息,例如像素值、分辨率、位深度或色彩通道等。
示例性地,获取用于表征电力设备状态的目标设备图像,可以是通过摄像设备、相机或其他图像采集设备拍摄电力设备图像,也可以通过自动化系统,如监控摄像头、机器视觉系统或机器人等设备来定期获取电力设备的图像。获取目标设备图像后,可以对图像进行降噪或标准化处理,并将图像转换为数字形式表示的像素数据,提取每个像素的亮度值或其它信息,将像素值组织成向量形式,其使每个像素值对应于向量中的一个特征,就获得了目标设备图像的原始特征数据,在这个过程中,可以根据图像的维度生成一维或多维的原始特征数据。
步骤204,获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务。
其中,目标图像分类模型是指经过数据训练的用于执行分类任务的模型。特征提取分支是指目标图像分类模型中的分支或子网络,用于从输入的图像数据中提取特征,可以由卷积层和池化层构成。输出层是指用于将先前层次中提取的特征转化为分类结果的层,在模型执行多个分类任务的情况下,输出层也可称为输出头或任务头。分类任务是指将输入数据分为不同类别或标签的任务,当使用同一目标图像分类模型执行多个分类任务时,模型可以包括多个任务共享的特征提取层,以从输入的数据中提取通用特征,对应不同分类任务的特征提取分支或输出层再根据这些通用特征提取不同分类任务对应的特征或完成不同分类任务。
示例性地,预训练的目标图像分类模型可以包括共享特征提取分支,通过该分支提取的特征可以应用到不同的分类任务重,对于每个任务可以分别添加特征提取分支或输出层,每个特征提取分支或输出层输出与任务相对应的分类预测,特征提取分支或输出层可以包括卷积层、全连接层或其它结构。
步骤206,通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。
其中,特征向量是指表示数据特征的向量,可以由多个特征或属性组成,每个特征表示数据点的特定性质或测量值。目标特征向量是指与目标设备图像相对应的能够表征目标设备图像中的感兴趣区域或感兴趣对象的向量,例如表征目标设备图像中的电力设备的向量,可以基于目标特征向量进行分类、检测或识别等分析任务。分类结果是指模型根据输入的数据进行分类任务后所产生的输出,可以是类别标签、每个类别的概率分布、类别得分等形式。
示例性地,可以将目标分类模型中一层或多层的激活输出用于特征提取,将原始特征数据输入各特征提取层,得到多个特征向量,将多个特征向量连接或通过其它方式组合在一起,得到目标特征向量,通过模型中的分类层将目标特征向量映射到对应的类别或标签并输出,再根据分类结果中包含的信息确定图像中电力设备所属的类别,例如可以将类别概率最高的类别作为分类结果。
上述电力图像数据处理方法中,获取电力设备图像,并提取电力设备图像的原始特征数据;可以捕获图像中的基本信息,例如纹理、颜色、形状,为后续的分类任务提供输入,可以减少数据的维度,提高计算效率;获取预训练的目标图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;特征提取分支或输出层均分别对应不同的分类任务;获取经过数据训练的模型可以提升分类的效率;通过目标图像分类模型对原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别,可以通过每个分支或输出层获取特定任务的特征表示,将各个分类任务的特征向量组合成一个目标特征向量有助于整合不同任务的信息,提高分类性能,使分类结果更为全面和准确,可以提高电力设备图像分类的准确率和效率。
在一个示例性的实施例中,组合各特征向量,得到目标特征向量,包括:对各特征向量进行归一化处理,得到多个归一化特征向量;分别获取各归一化特征向量对应的权重值;根据各权重值计算各归一化特征向量的加权和,得到目标特征向量。
其中,归一化处理是指将特征向量的长度控制在预设范围内的处理过程,该过程有助于加速收敛和降低过拟合风险的效果。归一化特征向量对应的权重值是指将各归一化特征向量进行加权组合时使用的权重值,对应于不同的归一化特征向量的权重值根据任务不同会具有不同的值。
示例性地,可以采用批次归一化、层归一化或权重归一化等方式对特征向量进行归一化,权重值可以根据特征向量对向量组合时的贡献或对应分类任务的重要性进行确定,例如可以根据经验确定、通过特征选择确定或通过正则化来获得权重,将各归一化特征向量与对应的权重值相乘后求和,即得到目标特征向量。
在一个示例性的实施例中,在通过目标图像分类模型对原始特征数据进行特征提取之前,方法还包括:对电力设备图像进行卷积运算,得到电力设备图像的初始卷积特征图;对初始卷积特征图进行批量归一化处理,得到归一化卷积特征图;对归一化卷积特征图进行最大池化处理,得到池化特征图,以池化特征图作为电力设备图像的原始特征数据。
其中,初始卷积特征图是指运算过程中通过初始卷积层或第一层卷积层生成的特征图,该特征图表征原始输入数据的局部或低级特征。归一化处理是指将特征图的值控制在预设范围内的处理过程,该过程有助于加速收敛和降低过拟合风险的效果。池化特征图是指通过最大池化或平均池化等池化操作生成的输出特征图,可以表征从原始特征图中提取的最显著特征。
示例性地,示例性地,可以在原始特征数据上应用多个卷积核来捕获图像的局部特征,如边缘、角点或颜色梯度等,卷积核在输入数据上进行滑动操作,对每个位置进行逐点相乘和累加,得到输出数据的一个元素,将得到的元素组合,得到初始卷积特征图,还可以将多个卷积核生成的多个特征图在通道维度上组合在一起,形成多通道的特征图集合。对初始卷积特征图采用批次归一化、层归一化或权重归一化等方式进行归一化,以提升模型的稳定性和泛化性能。再使用固定大小的滑动窗口在归一化后的特征图上沿水平和垂直方向上滑动,并保留每个窗口内的最大值,将获得的所有最大值组合成池化特征图,得到电力设备图像的原始特征数据。
在一个示例性的实施例中,所述方法还包括:获取训练图像,并在训练图像中标注电力设备,得到电力设备的真实标签;获取初始图像分类模型,将训练图像输入初始图像分类模型中,得到分类预测结果和与分类预测结果对应的类别概率,根据类别概率和对应的真实标签计算预设的损失函数的函数值;使用预设的超参数调整算法调整初始图像分类模型的超参数,得到更新后的超参数,当损失函数值小于预设损失阈值时,以更新后的超参数作为目标图像分类模型的超参数。
其中,训练图像是预先收集的用于训练模型的图像,初始图像分类模型是指待训练的图像分类模型,使用训练数据训练初始图像分类模型,可以得到目标图像分类模型。真实标签是指每个训练样本所属的正确类别或类别标签。分类预测结果是指模型对图像中对象对应的类别或标签进行预测后输出的结果,类别概率是指图像与各类别或标签的概率,损失函数是指用于度量模型的预测值与实际目标之间的差距或误差的函数。超参数是指模型训练过程中预设置的参数,不能通过学习获得,可以使用交叉验证等手段来验证不同超参数组合的性能,以确定最佳超参数。
示例性地,可以采用手动标注来为图像中的电力设备分配真实标签,当数据量充足时,也可以采用自动标注工具来实现该过程,根据实际需求建立初始图像分类模型,对模型的超参数进行初始化,将训练图像输入模型中,获得分类预测结果和类别概率,可使用网格搜索、随机搜索或贝叶斯优化等方法来调整模型的超参数,在每轮超参数调整后,重新训练模型并计算损失值,直至损失值小于预设损失阈值为止,得到目标图像分类模型。
在一个示例性的实施例中,在目标图像分类模型包括多个特征提取分支的情况下,使用预设超参数调整算法调整模型的超参数,得到更新后的超参数,包括:将训练图像输入初始图像分类模型中,通过多个特征提取分支得到对应于训练图像的多个分类结果;根据多个分类结果通过前向传播算法计算损失函数的值,根据损失函数的值计算输出层的梯度;根据梯度通过反向传播算法更新初始图像分类模型的超参数。
其中,前向传播算法是指从输入数据开始依次计算模型的中间表示和最终输出,中间表示经过权重、激活函数和偏置的组合,可以逐渐形成模型对输入数据的抽象表示,前向传播的输出可以被用于计算损失,并通过反向传播算法来更新模型的权重和参数,以使损失最小化,从而改进模型的性能。反向传播算法是指计算梯度并将误差从神经网络的输出层向前传播到输入层,以更新网络的权重和参数,从而使神经网络逐渐提高性能的过程。
示例性地,可以先对模型的学习率、批次大小等超参数进行初始化,并根据各个分类任务的权重和关联性确定适合多个分类任务的损失函数,可以为每个分类任务定义一个损失函数,并为每个任务分配一个权重,权重值的大小表示任务的优先级或重要性,可以根据经验和实际分类任务需求确定。将训练数据输入模型,得到对应的多个分类预测结果,通过前向传播算法计算损失函数的值,对于每个分类任务使用对应的损失函数来计算损失,再通过预先确定的权重将各任务的损失加权求和,计算得到的加权和即为整个模型的损失函数。然后,通过反向传播算法根据损失函数值计算输出层的梯度,然后使用梯度下降或其他优化算法更新超参数,不断迭代这一过程,直到损失函数值小于预设的损失阈值或达到预设的迭代次数,还可以使用验证数据对模型的性能进行验证,以确定模型的性能和目标图像分类模型的超参数。
在一个示例性的实施例中,在目标图像分类模型包括多个输出层的情况下,使用预设超参数调整算法调整模型的超参数,得到更新后的超参数,包括:将训练图像输入初始图像分类模型中,通过多个输出层得到多个预测结果和对应于多个预测结果的损失函数值;根据预设的损失函数权重计算多个损失函数值的加权和,以加权和的值为模型的总损失值;以总损失值最小化为优化目标调整初始图像分类模型的超参数。
其中,损失函数权重是模型的超参数之一,用于表征损失函数中不同损失项的相对重要性,可以根据分类任务的重要性、优先级或各类别的样本数量多少来确定。
示例性地,可以根据每个分类任务的实际需求确定输出层的结构,将训练图像输入初始图像分类模型中后,每个输出层生成一个任务的预测结果,计算每个任务的损失函数值,当对应任务为分类任务时,可以使用交叉熵损失函数作为损失函数,当对应任务为回归任务时,可采用均方根误差函数作为损失函数,根据各任务的优先级或根据经验为各损失函数确定权值,并根据权重计算所有任务损失函数值的加权和,得到模型的总损失,可以使用梯度下降或其它优化算法来最小化总损失,调整模型的学习率、批量大小或正则化参数等超参数,优化过程中可以对模型性能进行交叉验证,来优化模型的性能。
在一个示例性的实施例中,为了更好地适应数据的复杂度和性质和动态地调节推理深度,分别采用多头输出结构与多分枝结构对ResNet模型结构进行改进,将该模型用于电力图像数据处理方法,如图3所示,该方法包括以下步骤:
步骤302:建立初始图像分类模型的主干特征提取网络。
图像特征提取主干网络使用ResNet结构,包括初始层、批量归一化层和最大池化层,构建过程如下:
初始层包括普通卷积层、批量归一化层和最大池化层,其中,卷积层可以为7×7卷积层,批量归一化公式和最大池化公式分别如式(1)和式(2)所示,其中输入为数字集合(B),可训练参数γ、β,m是mini-batch的大小,μB是均值,是方差;BN的具体操作为:先计算B的均值和方差,之后将B集合的均值、方差变换为0、1(对应上式中/>),最后将B中每个元素乘以γ再加β,输出。γ、β是可训练参数,参与整个网络的训练过程。
最大池化(Max Pooling)是将输入的图像划分为若干个矩形区域,对每个区域输出最大值,如式(2)其中,ykij表示与第k个特征图有关的在矩形区域Rij的最大池化输出值,xkpq表示矩形区域Rij中位于(p,q)处的元素。
ykij=max xkpq(p,q)∈Rij (2)
残差结构:每个残差块的结构如图4所示,包含两个卷积层和一个跳跃连接,ResNet用了3×3的卷积层设计,共有16个残差块,每个残差块包含两个卷积层和一个跳跃连接,残差块可以根据特征图的大小分为4个残差块组。残差块里首先有2个有相同输出通道数的3×3卷积层,每个卷积层后接一个批量归一化层如式1和ReLU激活函数如式(3),分支通过跨层数据通路,跳过这2个卷积运算,将输入直接加在最后的ReLU激活函数前,其中ReLU激活函数为线性整流函数。
f(x)=max(0,x) (3)
残差块的运算过程如式(4)所示,其中原始输入为x,经过两层卷积层输出为F(x),跨层分支为x。
H(x)=F(x)+x (4)
步骤304:根据主干特征提取网络分别建立对应于不同分类任务的多头输出结构和多分支结构,得到多头输出结构的初始图像分类模型和多分支结构的初始图像分类模型。
多头输出结构模型将模型的输出分成多个独立的部分,每个部分用于不同的任务或预测目标,其结构如图5所示。每个独立的输出部分通常被称为一个输出头,而每个输出头都有自己的权重和损失函数。在模型训练过程中,通过加权平均计算模型的损失值,模型再进行反向传播,可以使模型学习到更具针对性的特征来完成每个任务。构建多头输出结构模型的过程中,在主干特征提取网络的部分残差区域后各添加分支计算损失,可以在残差块组2、3、4后各添加一个分支计算损失,将其分别记为loss1、loss2、loss3,在残差块n之后分支添加池化操作缩小特征图的大小以减少参数量,在各个分支之后各加一个全连接层调整通道数以使不同层级之间输出特征的大小相同,最后通过损失值的加权来进行模型的输出,其为损失值loss1、loss2、loss3...对应的k1、k2、k3...为其相应损失的权重,如式(5)所示。
Loss=k1×loss1+k2×loss2+k3×loss3+… (5)
多分支结构模型是将输入数据通过不同的分支进行处理和学习,然后将每个分支的结果进行合并或组合以获得最终输出,其结构如图6所示,初始层和残差结构与多头输出结构模型相同,其优化思路与多头输出结构模型大致相同,不同的是在模型训练过程中,通过加权平均计算模型的输出值再进行反向传播,即在部分残差区域后添加分支作为输出,分别为output1、output2、output3...,并在残差块n之后分支添加池化操作缩小特征图的大小以减少参数量,在池化后的各个分支之后各加一个全连接层调整通道数以使不同层级之间输出特征的大小相同。最后通过加权三个不同的输出output1、output2、output3...,其k1、k2、k3...为其相应的输出权重,总输出作为模型的输出来进行模型的训练,其公式如式(6)所示。
Output=k1×output1+k2×output2+k3×output3+… (6)
步骤306:获取训练数据,通过训练数据分别训练多头输出结构和多分支结构的图像识别模型,得到目标图像识别模型。模型的训练过程如图7所示,包括以下主要步骤:
前向传播:将上一层的输出作为下一层的输入,并计算下一层的输出,一直到运算到输出层为止。前向传播如式(7),zl为计算的加权输入,W(l)表示网络第l层的权值,σ为激活函数,a(l-1)表示第l-1层的输出,bl为第l层的偏置。L为损失函数计算预测值的概率分布和真实标签的独热编码之间的交叉熵来度量差异。其中y为实际值,为预测值。
反向传播:确定总层数L,以及各隐藏层与输出层的神经元个数,激活函数,损失函数L,迭代步长σ以及输入的m个训练样本(x1,y1),(x2,y2)...(xm,ym)。
初始化参数W,b。
进行前向传播算法计算,为步骤二。
通过损失函数计算输出层梯度。
进行反向传播计算,如式(8)。
δ(l)=(W(l+1))Tδ(l+1)×(zl) (8)
更新W,b,通过梯度下降算法更新权重w和偏置b的值如式(9)与式(10),α为学习率。
如果所有损失函数L收敛则停止迭代循环,得到目标图像分类模型,否则继续进行反向传播。
损失函数设置:选择交叉熵损失函数作为模型的损失函数,通过计算预测值的概率分布和真实标签的独热编码之间的交叉熵来度量差异。其公式如式(13)所示,其中y为实际值,为预测值。
优化器设置:选用SGD优化算法对模型进行梯度更新公式如式(14)所示,其中W(l)表示网络第l层的权值,dW(l)表示计算得到的网络第l层的梯度,SdW(l)为梯度dW(l)平方的指数加权平均值,β为可调整的超参数,α为网络的学习率,ε为防止分母为0的很小的实数。
训练过程中模型的超参数设置如表1所示。其中输出头权值比为多头输出机构及多分枝结构的各个分支输出加权时的权重比值。
表1
训练使用的图像数据集为建立的变压器、开关和GIS图像数据集,其中变压器、开关和GIS的图像分别有144,446,168张,模型的应用场景为图像分类任务。最后将数据集按约8:2的比例分为训练集与测试集,其中训练集图片数量为614张,测试集图像数量为144张。
将训练集数据输入建立好的两种ResNet34模型进行训练,网络训练的硬件条件如下:CPU为Intel Rlatinum 8358,内存为64GB,GPU为NVIDIAA-40 8Q,显存为40GB,所有模型基于pytorch 1.11.0框架和Python3.8进行运行。
对两个模型训练得到的损失变化曲线分别如图8和图9所示,如图8所示,多头输出ResNet34模型在学习率较高的情况下,收敛速度依旧放缓,训练约20次左右才趋于收敛,这是由于在当前结构下loss损失由多个输出组成,loss值是反向模型传播的起始位置,对于多输出头需要分别进行反向传播,因此会需要耗费更多时间分配各个输出的权值。图9所示多分枝结构模型收敛较快,在学习率较低时也能在20次训练左右趋于收敛。多头输出ResNet34与多分枝ResNet34模型的训练时间如表2所示。由于多分枝模型训练次数较多因此训练总时长较长,但单次训练时间更低,这也是因为多头输出结构对于损失值loss进行加权平均后在反向传播时的计算量更大导致。
表2
模型 训练总时间 单次训练时间
多头输出ResNet34 47min17s 94.6s
多分枝ResNet34 1h11min23s 85.7s
将训练好的多头输出ResNet34模型以及多分枝ResNet34模型用于图像分类任务,即输入测试集图像,输出模型对其的分类结果(变压器、开关、GIS),将测试集144张图片输入训练好的模型进行测试,得到的测试结果如表3所示。
表3
由表3可知,多头输出结构下的ResNet34的模型效果准确率相对多分枝结构更高,可以达到91.67%,而多分枝结构的ResNet34为85.42%,比起未改进的ResNet34模型还低一些,因此对于当前变压器、开关、GIS设备图像数据集的分类任务,可以根据实际的计算资源和准确率需求进行选择。
步骤308:使用目标图像识别模型对电力设备图像进行分类,以确定电力设备图像中设备的类别。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的电力图像数据处理方法的电力图像数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个电力图像数据处理装置实施例中的具体限定可以参见上文中对于电力图像数据处理方法的限定,在此不再赘述。
在一个示例性的实施例中,如图11所示,提供了一种电力图像数据处理装置1000,包括:数据获取模块1002、模型获取模块1004和数据处理模块1006,其中:
数据获取模块1002,用于获取电力设备图像,并提取电力设备图像的原始特征数据;
模型获取模块1004,用于获取预训练的图像分类模型;目标图像分类模型包括多个特征提取分支或多个输出层;多个特征提取分支中的每个特征提取分支分别对应于不同的分类任务,多个输出层中的每个输出层分别对应于不同的分类任务;
数据处理模块1006,用于通过图像分类模型对原始特征数据进行特征提取,得到与多个分类任务分别对应的多个特征向量,组合各特征向量,得到目标特征向量,根据目标特征向量确定电力设备图像的分类结果,分类结果用于确定电力设备图像中电力设备的类别。
在一个示例性的实施例中,数据处理模块1006用于:对各特征向量进行归一化处理,得到多个归一化特征向量;分别获取各归一化特征向量对应的权重值;根据各权重值计算各归一化特征向量的加权和,得到目标特征向量。
在一个示例性的实施例中,在通过目标图像分类模型对原始特征数据进行特征提取之前,数据获取模块1002用于:对电力设备图像进行卷积运算,得到电力设备图像的初始卷积特征图;对初始卷积特征图进行批量归一化处理,得到归一化卷积特征图;对归一化卷积特征图进行最大池化处理,得到池化特征图,以池化特征图作为电力设备图像的原始特征数据。
在一个示例性的实施例中,模型获取模块1004用于:获取训练图像,并在训练图像中标注电力设备,得到电力设备的真实标签;获取初始图像分类模型,将训练图像输入初始图像分类模型中,得到分类预测结果和与分类预测结果对应的类别概率,根据类别概率和对应的真实标签计算预设的损失函数的函数值;使用预设的超参数调整算法调整初始图像分类模型的超参数,得到更新后的超参数,当损失函数值小于预设损失阈值时,以更新后的超参数作为目标图像分类模型的超参数。
在一个示例性的实施例中,在目标图像分类模型包括多个特征提取分支的情况下,模型获取模块1004用于:将训练图像输入初始图像分类模型中,通过多个特征提取分支得到对应于训练图像的多个分类结果;根据多个分类结果通过前向传播算法计算损失函数的值,根据损失函数的值计算输出层的梯度;根据梯度通过反向传播算法更新初始图像分类模型的超参数。
在一个示例性的实施例中,在目标图像分类模型包括多个输出层的情况下,模型获取模块1004用于:将训练图像输入初始图像分类模型中,通过多个输出层得到多个预测结果和对应于多个预测结果的损失函数值;根据预设的损失函数权重计算多个损失函数值的加权和,以加权和的值为模型的总损失值;以总损失值最小化为优化目标调整初始图像分类模型的超参数。
上述电力图像数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标设备图像、分类模型以及图像处理过程中产生的各项数据等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力图像数据处理方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。该计算机设备可以是如图11中所示的计算机设备。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种电力图像数据处理方法,其特征在于,所述方法包括:
获取电力设备图像,并提取所述电力设备图像的原始特征数据;
获取预训练的目标图像分类模型;所述目标图像分类模型包括多个特征提取分支或多个输出层;所述特征提取分支或所述输出层均分别对应不同的分类任务;
通过所述目标图像分类模型对所述原始特征数据进行特征提取,得到与各分类任务对应的特征向量,组合各所述特征向量,得到目标特征向量,根据所述目标特征向量确定所述电力设备图像的分类结果,所述分类结果用于确定所述电力设备图像中电力设备的类别。
2.根据权利要求1所述的方法,其特征在于,所述组合各所述特征向量,得到目标特征向量,包括:
对各所述特征向量进行归一化处理,得到多个归一化特征向量;
分别获取各所述归一化特征向量对应的权重值;
根据各所述权重值计算各所述归一化特征向量的加权和,得到所述目标特征向量。
3.根据权利要求1所述的方法,其特征在于,在所述通过所述目标图像分类模型对所述原始特征数据进行特征提取之前,所述方法还包括:
对所述电力设备图像进行卷积运算,得到所述电力设备图像的初始卷积特征图;
对所述初始卷积特征图进行批量归一化处理,得到归一化卷积特征图;
对所述归一化卷积特征图进行最大池化处理,得到池化特征图,以所述池化特征图作为所述电力设备图像的原始特征数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取训练图像,并在所述训练图像中标注电力设备,得到所述电力设备的真实标签;
获取初始图像分类模型,将所述训练图像输入所述初始图像分类模型中,得到分类预测结果和与所述分类预测结果对应的类别概率,根据所述类别概率和对应的真实标签计算预设的损失函数的函数值;
使用预设的超参数调整算法调整所述初始图像分类模型的超参数,得到更新后的超参数,当所述损失函数值小于预设损失阈值时,以所述更新后的超参数作为所述目标图像分类模型的超参数。
5.根据权利要求4所述的方法,其特征在于,在所述目标图像分类模型包括多个特征提取分支的情况下,所述使用预设超参数调整算法调整所述模型的超参数,得到更新后的超参数,包括:
将训练图像输入初始图像分类模型中,通过多个特征提取分支得到对应于训练图像的多个分类结果;
根据所述多个分类结果通过前向传播算法计算所述损失函数的值,根据所述损失函数的值计算所述输出层的梯度;
根据所述梯度通过反向传播算法更新所述初始图像分类模型的超参数。
6.根据权利要求4所述的方法,其特征在于,在所述目标图像分类模型包括多个输出层的情况下,所述使用预设超参数调整算法调整所述模型的超参数,得到更新后的超参数,包括:
将训练图像输入初始图像分类模型中,通过多个输出层得到多个预测结果和对应于多个预测结果的损失函数值;
根据预设的损失函数权重计算所述多个损失函数值的加权和,以所述加权和的值为所述模型的总损失值;
以所述总损失值最小化为优化目标调整所述初始图像分类模型的超参数。
7.一种电力图像数据处理装置,其特征在于,所述装置包括:
数据获取模块,用于获取电力设备图像,并提取所述电力设备图像的原始特征数据;
模型获取模块,用于获取预训练的图像分类模型;所述目标图像分类模型包括多个特征提取分支或多个输出层;所述多个特征提取分支中的每个特征提取分支分别对应于不同的分类任务,所述多个输出层中的每个输出层分别对应于不同的分类任务;
数据处理模块,用于通过所述图像分类模型对所述原始特征数据进行特征提取,得到与多个分类任务分别对应的多个特征向量,组合各所述特征向量,得到目标特征向量,根据所述目标特征向量确定所述电力设备图像的分类结果,所述分类结果用于确定所述电力设备图像中电力设备的类别。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202311368677.6A 2023-10-20 2023-10-20 电力图像数据处理方法、装置、设备、介质和程序产品 Pending CN117671278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311368677.6A CN117671278A (zh) 2023-10-20 2023-10-20 电力图像数据处理方法、装置、设备、介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311368677.6A CN117671278A (zh) 2023-10-20 2023-10-20 电力图像数据处理方法、装置、设备、介质和程序产品

Publications (1)

Publication Number Publication Date
CN117671278A true CN117671278A (zh) 2024-03-08

Family

ID=90070292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311368677.6A Pending CN117671278A (zh) 2023-10-20 2023-10-20 电力图像数据处理方法、装置、设备、介质和程序产品

Country Status (1)

Country Link
CN (1) CN117671278A (zh)

Similar Documents

Publication Publication Date Title
Li et al. A hybrid approach for forecasting ship motion using CNN–GRU–AM and GCWOA
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN107358293B (zh) 一种神经网络训练方法及装置
CN111242208A (zh) 一种点云分类方法、分割方法及相关设备
CN109754078A (zh) 用于优化神经网络的方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN112163465A (zh) 细粒度图像分类方法、系统、计算机设备及存储介质
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
CN112183742A (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
CN116362325A (zh) 一种基于模型压缩的电力图像识别模型轻量化应用方法
CN115496144A (zh) 配电网运行场景确定方法、装置、计算机设备和存储介质
CN113988357A (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN116451093A (zh) 电路故障分析模型的训练方法以及电路故障分析方法
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN117152528A (zh) 绝缘子状态识别方法、装置、设备、存储介质和程序产品
CN117039983A (zh) 一种结合通道注意力机制的光伏出力预测方法及终端
CN116523001A (zh) 电网薄弱线路识别模型构建方法、装置和计算机设备
Klawonn et al. A domain decomposition-based CNN-DNN architecture for model parallel training applied to image recognition problems
CN116524296A (zh) 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法
Cong et al. On Adam trained models and a parallel method to improve the generalization performance
CN117671278A (zh) 电力图像数据处理方法、装置、设备、介质和程序产品
CN114723998A (zh) 基于大边界贝叶斯原型学习的小样本图像分类方法及装置
CN113538239A (zh) 一种基于时空自回归神经网络模型的插值方法
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法
CN112287854A (zh) 基于深度神经网络的建筑室内人员检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination