CN116309171A - 一种输电线路监控图像增强方法和装置 - Google Patents

一种输电线路监控图像增强方法和装置 Download PDF

Info

Publication number
CN116309171A
CN116309171A CN202310290466.9A CN202310290466A CN116309171A CN 116309171 A CN116309171 A CN 116309171A CN 202310290466 A CN202310290466 A CN 202310290466A CN 116309171 A CN116309171 A CN 116309171A
Authority
CN
China
Prior art keywords
image
map
feature
feature map
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310290466.9A
Other languages
English (en)
Inventor
崔莹
于文硕
赵立权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202310290466.9A priority Critical patent/CN116309171A/zh
Publication of CN116309171A publication Critical patent/CN116309171A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电线路监控图像增强方法和装置，包括：采用接收到的训练集和测试集对构建的两个初始图像生成模型和两个初始图像对抗模型进行双向训练和模型验证，确定出目标图像生成模型，采用目标图像生成模型中的编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图，将编码特征图输入感受野残差模块和对光照注意力模块进行特征提取和特征加权构建权重特征图，通过光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合确定目标增强图像。通过该目标图像生成模型得到的增强图像，提高了图像纹理细节清晰度，增强后的图像质量更佳。

Description

一种输电线路监控图像增强方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种输电线路监控图像增强方法和装置。
背景技术
由于架空输电线路长期暴露在室外高空环境，为了能够及时掌握输电线路状态，供电公司通过在输电铁塔上安装远程摄像头实时采集输电线路图像进行分析。在阴雨天、夜晚等光照度较低的情况下，远程摄像头采集到的输电线路图像质量较差、细节丢失严重，降低了输电线路缺陷检测的准确性，故需对低光照度下的输电线路监控图像进行增强，以提高输电线路图像质量。
现有低光照度下的图像增强方法可以分为三类：基于直方图均衡的方法、基于Retinex理论的方法和基于深度学习的方法，其中基于深度学习的方法相对直方图均衡和基于Retinex理论的图像增强方法，增强后的图像质量和通用性更好。
生成对抗网络目前也被应用于低光照度下的图像增强，虽然相对基于常规深度学习模型得到的增强后的图像质量更好，但是其增强后的图像纹理细节仍存在一定模糊、部分区域存在曝光过度或曝光不足的现象，影响了输电线路缺陷检测的准确性，有待进一步提高增强后的图像质量。
发明内容
本发明提供了一种输电线路监控图像增强方法和装置，解决了现有图像增强技术对输电线路监控图像进行图像增强处理时，生成的增强图像的图像质量不高的技术问题。
本发明第一方面提供的一种输电线路监控图像增强方法，包括：
当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型；
采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器；
当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图；
通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图；
将所述残差特征图输入所述光照注意力模块进行特征加权，构建权重特征图；
采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
可选地，所述测试集包括低光测试图像；所述采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器的步骤，包括：
采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值；
若所述总损失函数值不收敛，则采用梯度下降法更新全部所述初始图像生成模型和全部所述初始图像对抗模型的模型参数，并跳转执行所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤；
若所述总损失函数值收敛，则以当前模型参数确定优化图像生成模型；
将所述低光测试图像输入所述优化图像生成模型进行图像增强，输出增强测试图像；
计算所述增强测试图像的自然图像质量评价指标值和基于元学习的无参考图像评价指标值；
当所述自然图像质量评价指标值小于第一预设理想值，且所述基于元学习的无参考图像评价指标值大于第二预设理想值时，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。
可选地，所述训练集包括常光训练图像和低光训练图像；两个所述初始图像生成模型包括正向图像生成模型和反向图像生成模型；两个所述初始图像对抗模型包括正向图像对抗模型和反向图像对抗模型；所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤，包括：
将所述低光训练图像和所述常光训练图像分别输入所述正向图像生成模型和所述反向图像生成模型进行图像增强，输出第一增强图和第二增强图；
采用所述第一增强图和所述第二增强图分别输入所述反向图像生成模型和所述正向图像生成模型进行图像转换，构建第一重建图和第二重建图；
通过所述正向图像对抗模型基于所述第一增强图和所述常光训练图像进行图像判别，生成第一判别结果；
通过所述反向图像对抗模型对所述第二增强图和所述低光训练图像进行图像判别，输出第二判别结果；
采用所述低光训练图像、所述常光训练图像、所述第一增强图、所述第二增强图、所述第一重建图、所述第二重建图、所述第一判别结果和所述第二判别结果，计算对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值；
将所述对抗损失函数值、所述循环一致性损失函数值、所述身份一致性损失函数值和所述无监督感知损失函数值进行加法运算，确定总损失函数值。
可选地，所述初始图像对抗模型包括带有LeakyReLU激活函数的卷积层、下采样层、上采样层和普通卷积层；所述初始图像对抗模型的执行过程，包括：
对输入所述初始图像对抗模型的对抗输入特征图像通过带有LeakyReLU激活函数的卷积层进行局部特征提取，生成第一对抗图；
采用级联的下采样层和带有LeakyReLU激活函数的卷积层对所述第一对抗图进行最大池化下采样和卷积运算，构建第二对抗图；
通过下采样层对所述第二对抗图进行最大池化下采样后，采用多层带有LeakyReLU激活函数的卷积层进行连续特征提取，输出第三对抗图；
将所述第三对抗图输入上采样层进行双线性插值上采样后，与所述第二对抗图进行逐元素相加，确定第四对抗图；
基于级联的带有LeakyReLU激活函数的卷积层和上采样层对所述第四对抗图进行卷积滤波和双线性插值上采样后，与所述第一对抗图进行逐元素相加，生成第五对抗图；
通过多层带有LeakyReLU激活函数的卷积层对所述第五对抗图进行连续特征提取后，并采用普通卷积层进行图像判别，确定判别结果。
可选地，所述编码器包括带有LeakyReLU激活函数的卷积层、上下文特征提取模块和级联模块；所述当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图的步骤，包括：
当接收到目标输电线路监控图像时，采用带有LeakyReLU激活函数的卷积层对所述目标输电线路监控图像进行初步特征提取，生成初步特征图；
通过上下文特征提取模块对所述初步特征图进行上下文信息提取，构建深层特征图；
将所述深层特征图输入级联模块进行下采样和细化特征提取，输出级联特征图；
采用级联模块对所述级联特征图进行下采样和全局特征提取，生成编码特征图；其中，所述级联模块包括级联的残差D模块和上下文特征提取模块。
可选地，所述上下文特征提取模块包括第一卷积层、第二卷积层和第三卷积层，其中第一卷积层和第二卷积层均带有LeakyReLU激活函数；所述上下文特征提取模块的图像处理过程，包括：
对输入所述上下文特征提取模块的上下文输入特征图采用第一卷积层进行特征提取，生成第一特征图；
分别通过第二卷积层和级联的多个第二卷积层对所述第一特征图进行卷积运算，对应构建第二特征图和第三特征图；
采用第三卷积层对所述上下文输入特征图进行通道降维后，与所述第二特征图和所述第三特征图进行逐元素相加，输出上下文输出特征图。
可选地，所述感受野残差模块包括多级残差连接的第一空洞卷积层、第二空洞卷积层和第三空洞卷积层以及标准卷积层；所述通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图的步骤，包括：
对所述编码特征图采用第一空洞卷积层进行空洞卷积滤波，输出第一空洞图；
将所述编码特征图与所述第一空洞图进行逐元素相加，生成第二空洞图；
通过第二空洞卷积层对所述第二空洞图进行特征提取后，与所述编码特征图和所述第二空洞图进行逐元素相加，构建第三空洞图；
将所述第三空洞图输入第三空洞卷积层进行空洞卷积运算，确定第四空洞图；
采用标准卷积层对所述编码特征图进行通道降维，并与所述第二空洞图和所述第四空洞图进行逐元素相加，输出残差特征图。
可选地，所述光照注意力模块包括级联的通道注意力模块和空间注意力模块；所述通道注意力模块包括平均池化层、最大池化层、带有LeakyReLU激活函数的第一通道卷积层、第二通道卷积层和Sigmoid函数；所述光照注意力模块的图像处理过程，包括：
对输入所述光照注意力模块的光照输入特征图分别采用所述平均池化层和所述最大池化层进行平均池化操作和最大池化操作，对应生成第一通道图和第二通道图；
将所述第一通道图和所述第二通道图进行逐元素相加，构建第三通道图；
分别采用级联的第一通道卷积层和第二通道卷积层对所述第一通道图、所述第二通道图和所述第三通道图并行特征提取后，并进行逐元素相加输出第四通道图；
通过Sigmoid函数提取所述第四通道图的通道特征权重，并将所述通道特征权重与所述光照输入特征图进行逐元素相乘，确定通道输出特征图；
将所述通道输出特征图输入空间注意力模块加深空间权重，输出光照输出特征图。
可选地，所述空间注意力模块包括平均池化层、最大池化层、第一空间卷积层、第二空间卷积层、第三空间卷积层、第四空间卷积层和Sigmoid函数，其中第一空间卷积层、第二空间卷积层和第三空间卷积层均带有LeakyReLU激活函数；所述将所述通道输出特征图输入空间注意力模块加深空间权重，输出光照输出特征图的步骤，包括：
分别采用平均池化层和最大池化层对所述通道输出特征图进行平均池化操作和最大池化操作后，进行通道拼接生成第一空间图；
将所述第一空间图输入级联的第一空间卷积层和第四空间卷积层进行特征提取，构建第二空间图；
对所述第一空间图采用级联的第二空间卷积层和第四空间卷积层进行卷积运算，输出第三空间图；
通过级联的第三空间卷积层和第四空间卷积层对所述第一空间图进行卷积滤波，确定第四空间图；
采用所述第二空间图、所述第三空间图和所述第四空间图进行逐元素相加，生成第五空间图；
通过Sigmoid函数激活所述第五空间图确定空间特征权重，并对所述空间特征权重与所述通道输出特征图进行逐元素相乘，输出光照输出特征图。
可选地，所述解码器包括上采样层、带有LeakyReLU激活函数的卷积层、上下文特征提取模块和带有Tanh激活函数的卷积层；所述采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像的步骤，包括：
通过所述光照注意力模块分别对所述初步特征图和所述级联特征图进行特征加权后，对应输出第一光照图和第二光照图；
将所述权重特征图输入上采样层进行双线性插值上采样后，与所述第二光照图进行通道拼接，生成第一解码图；
采用级联的带有LeakyReLU激活函数的卷积层、上下文特征提取模块和上采样层对所述第一解码图进行通道压缩、特征提取和双线性插值上采样，并与所述第一光照图进行通道拼接，构建第二解码图；
通过级联的带有LeakyReLU激活函数的卷积层和上下文特征提取模块对所述第二解码图进行通道降维和多尺度特征提取，确定第三解码图；
对所述第三解码图采用带有Tanh激活函数的卷积层进行特征提取映射，输出目标增强图像。
本发明第二方面提供的一种输电线路监控图像增强装置，包括：
模型构建模块，用于当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型；
模型训练模块，用于采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器；
编码器处理模块，用于当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图；
残差特征图生成模块，用于通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图；
权重特征图构建模块，用于将所述残差特征图输入所述光照注意力模块进行特征加权，构建权重特征图；
目标增强图像输出模块，用于采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过采用接收到的训练集和测试集，对构建的两个初始图像生成模型和两个初始图像对抗模型进行双向训练和模型验证，确定出目标图像生成模型，当接受到目标输电线路监控图像时，采用目标图像生成模型中的编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图，将编码特征图输入串联的感受野残差模块和对光照注意力模块进行特征提取和特征加权，构建权重特征图，通过光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。通过该目标图像生成模型得到的增强图像，提高了图像纹理细节清晰度，同时避免了图像曝光过度或者曝光不足现象的发生，增强后的图像质量更佳，为输电线路缺陷检测提供更加准确可靠的图像信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种输电线路监控图像增强方法的步骤流程图；
图2为本发明实施例二提供的一种输电线路监控图像增强方法的步骤流程图；
图3为本发明实施例二提供的模型训练整体框架图；
图4为本发明实施例二提供的图像生成模型和残差D模块的结构示意图；
图5为本发明实施例二提供的上下文特征提取模块的结构示意图；
图6为本发明实施例二提供的感受野残差模块的结构示意图；
图7为本发明实施例二提供的光照注意力模块的结构示意图；
图8为本发明实施例二提供的图像对抗模型的结构示意图；
图9为本发明实施例三提供的一种输电线路监控图像增强装置的结构框图。
具体实施方式
本发明实施例提供了一种输电线路监控图像增强方法和装置，用于解决现有图像增强技术对输电线路监控图像进行图像增强处理时，生成的增强图像的图像质量不高的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种输电线路监控图像增强方法的步骤流程图。
本发明提供的一种输电线路监控图像增强方法，包括：
步骤101、当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型。
训练集，指的是对模型进行训练的输电线路监控图像的图像集合。
测试集，指的是对训练完成后的模型进行测试的输电线路监控图像的图像集合。
初始图像生成模型，指的是采用初始的模型参数进行设定的图像生成模型，图像生成模型可用于对图像进行图像增强。
初始图像对抗模型，指的是采用初始的模型参数进行设定的图像对抗模型，图像对抗模型可用于对图像进行图像数据分布一致性程度的判定。
在本发明实施例中，任一支持输电线路监控图像增强方法应用的需求端平台，通过对从架空输电线路监测系统采集的输电线路监控图像进行图像预处理构建出训练集和测试集，当接收到需求端平台发送的训练集和测试集时，按照预设的初始的模型参数，构建初始图像生成模型和初始图像对抗模型。
可选地，训练集包括常光训练图像和低光训练图像，测试集包括低光测试图像。对从架空输电线路监测系统采集的输电线路监控图像进行图像预处理构建出训练集和测试集的过程，包括：
通过架空输电线路监测系统采集多组不同场景的常光样本图像，对全部常光样本图像按照预设尺寸进行图像裁剪，生成常光裁剪样本图像；
按照第一预设比例将全部常光裁剪样本图像划分为常光训练图像和待处理常光裁剪样本图像；
通过对待处理常光裁剪样本图像进行像素值改变，确定对应的低光裁剪样本图像；
按照第二预设比例将全部低光裁剪样本图像划分为低光训练图像和低光测试图像；
将常光训练图像和低光训练图像组成训练集，将低光测试图像作为测试集。
常光样本图像，指的是从架空输电线路监测系统直接采集得到的输电线路监控图像。常光训练图像，指的是用于训练的在正常光照度下的输电线路监控图像。低光训练图像，指的是用于训练的在低光照度下的输电线路监控图像。低光测试图像，指的是用于测试的在低光照度下的输电线路监控图像。
可选地，预设尺寸设为600×400。可以理解的是，第一预设比例和第二预设比例可以根据模型训练和测试所需的图像数量具体设定，例如：从架空输电线路监测系统采集的输电线路监控图像中挑选出不同场景的常光样本图像8000组，并将所有常光样本图像裁剪成大小为600×400的常光裁剪样本图像；将其中的5000组常光裁剪样本图像作为待处理常光裁剪样本图像，通过改变像素值模拟低光照度图像，作为低光裁剪样本图像；选择其中的4000组低光裁剪样本图像和另外的3000组常光裁剪样本图像构成训练集，并将剩余的1000组低光裁剪样本图像作为测试集。
优选地，通过下述公式对待处理常光裁剪样本图像进行像素值改变，确定对应的低光裁剪样本图像：
Figure BDA0004141328130000101
其中，α为亮度缩放系数，Iin为输入图像；Iout为生成的夜间低照度图像，γ为亮度缩放因子。
可以理解的是，α的取值可为1，γ的设置区间为[0.6，0.8]。
步骤102、采用训练集和测试集对全部初始图像生成模型和全部初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。
目标图像生成模型，指的是对初始图像生成模型进行训练并迭代优化达到预定目标，通过模型验证得到的图像生成模型。
在本发明实施例中，采用训练集对全部初始图像生成模型和全部图像对抗模型进行双向训练完成后，将测试集输入训练完成后的图像生成模型进行模型验证，当验证达到预定目标则确定出目标图像生成模型，其中目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。
步骤103、当接收到目标输电线路监控图像时，采用编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图。
目标输电线路监控图像，指的是通过架空输电线路监测系统采集的目标场景的输电线路监控图像。
在本发明实施例中，当接收到目标输电线路监控图像时，通过目标图像生成模型中的编码器对目标输电线路监控图像以及目标输电线路监控图像进行特征提取后的图像进行图像处理，可以得到在编码器中进行多层特征提取中分别输出的初步特征图、级联特征图和编码特征图。
步骤104、通过感受野残差模块对编码特征图进行特征提取，生成残差特征图。
在本发明实施例中，目标图像生成模型中的感受野残差模块与编码器串联，编码器输出的编码特征图后输入至感受野残差模块中，通过感受野残差模块对编码特征图进行特征提取，生成残差特征图。
步骤105、将残差特征图输入光照注意力模块进行特征加权，构建权重特征图。
在本发明实施例中，目标图像生成模型中的感受野残差模块与光照注意力模块级联，当感受野残差模块生成残差特征图后，输入至级联的光照注意力模块中进行特征加权，构建输出权重特征图。
步骤106、采用光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
目标增强图像，指的是通过目标图像生成模型对目标输电线路监控图像进行图像增强后的图像。
在本发明实施例中，目标图像生成模型中的解码器与同感受野残差模块级联的光照注意力模块串联，同时目标图像生成模型中的编码器还通过多个光照注意力模块与解码器跳跃连接，当光照注意力模块输出权重特征图后，采用解码器对权重特征图进行图像处理，并与通过光照注意力模块对初步特征图、级联特征图进行图像处理后的图像进行跳跃特征融合和多尺度特征提取后，确定目标增强图像。
在本发明实施例中，采用接收到的训练集和测试集，对构建的两个初始图像生成模型和两个初始图像对抗模型进行双向训练和模型验证，确定出目标图像生成模型，当接受到目标输电线路监控图像时，采用目标图像生成模型中的编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图，将编码特征图输入串联的感受野残差模块和对光照注意力模块进行特征提取和特征加权，构建权重特征图，通过光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。通过该目标图像生成模型得到的增强图像，提高了图像纹理细节清晰度，同时避免了图像曝光过度或者曝光不足现象的发生，增强后的图像质量更佳，为输电线路缺陷检测提供更加准确可靠的图像信息。
请参阅图2，图2为本发明实施例二提供的一种输电线路监控图像增强方法的步骤流程图。
本发明提供的一种输电线路监控图像增强方法，包括：
步骤201、当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型。
在本发明实施例中，步骤201的具体实施过程与步骤101类似，在此不再赘述。
步骤202、采用训练集对全部初始图像生成模型和全部初始图像对抗模型进行双向训练，确定总损失函数值。
可选地，训练集包括常光训练图像和低光训练图像；两个初始图像生成模型包括正向图像生成模型和反向图像生成模型；两个初始图像对抗模型包括正向图像对抗模型和反向图像对抗模型；步骤202包括以下子步骤：：
将低光训练图像和常光训练图像分别输入正向图像生成模型和反向图像生成模型进行图像增强，输出第一增强图和第二增强图；
采用第一增强图和第二增强图分别输入反向图像生成模型和正向图像生成模型进行图像转换，构建第一重建图和第二重建图；
通过正向图像对抗模型基于第一增强图和常光训练图像进行图像判别，生成第一判别结果；
通过反向图像对抗模型对第二增强图和低光训练图像进行图像判别，输出第二判别结果；
采用低光训练图像、常光训练图像、第一增强图、第二增强图、第一重建图、第二重建图、第一判别结果和第二判别结果，计算对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值；
将对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值进行加法运算，确定总损失函数值。
在本发明实施例中，参照图3，将构建的两个初始图像生成模型划分为正向图像生成模型和反向图像生成模型，将构建的两个初始图像对抗模型划分为正向图像对抗模型和反向图像对抗模型。从训练集中选取低光训练图像输入至正向图像生成模型进行图像增强输出第一增强图，并从训练集中选取常光训练图像和第一增强图一起输入至正向图像对抗模型进行图像判别，生成第一判别结果。选取训练集中的常光训练图像，通过反向图像生成模型对常光训练图像进行图像处理生成第二增强图，选取训练集中的低光训练图像和第二增强图输入反向图像对抗模型进行图像判别，输出第二判别结果。通过反向图像生成模型将第一增强图进行图像转换生成第一重建图，采用正向图像生成模型对第二增强图进行图像转换构建第二重建图，结合低光训练图像、常光训练图像、第一增强图、第二增强图、第一判别结果和第二判别结果，计算对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值，将计算出的各损失函数值进行加法运算，确定总损失函数值。
可选地，总损失函数值的确定过程，包括：
L＝LAdv(GX→Y,DX→Y,X,Y)+LAdv(GY→X,DY→X,X,Y)+
LCyc(GX→Y,GY→X)+LIdentity(GX→Y,GY→X)+LPerceptual(GX→Y,GY→X)；
其中，L为总损失函数，LAdv()为对抗损失函数，LCyc()为循环一致性损失函数，LIdentity()为身份一致性损失函数，LPerceptual()为无监督感知损失函数。
对抗损失函数值的计算过程，包括：
Figure BDA0004141328130000131
Figure BDA0004141328130000132
其中，x为低光训练图像，X为低光训练图像的图像域，y为常光训练图像，Y为常光训练图像的图像域，GX→Y为正向图像生成模型，DX→Y为正向图像对抗模型，DX→Y(y)为常光训练图像通过正向图像对抗模型得到的判别结果，GX→Y(x)为低光训练图像通过正向图像生成模型输出的增强图像，DX→Y(GX→Y(x))为低光训练图像对应的增强图像通过正向图像对抗模型得到的判别结果，GY→X为反向图像生成模型，DY→X为反向图像对抗模型，DY→X(x)为低光训练图像通过反向图像对抗模型得到的判别结果，GY→X(y)为常光训练图像通过反向图像生成模型输出的增强图像，DY→X(GY→X(y))为常光训练图像对应的增强图像通过反向图像对抗模型得到的判别结果，Pdata(x)为低光训练图像的样本分布，Pdata(y)为常光训练图像的样本分布，E为数学期望。
循环一致性损失函数值的计算过程，包括：
Figure BDA0004141328130000141
其中，GY→X(GX→Y(x))为低光训练图像对应的增强图像通过反向图像生成模型得到的重建图像，GX→Y(GY→X(y))为常光训练图像对应的增强图像通过正向图像生成模型得到的重建图像。
身份一致性损失函数值的计算过程，包括：
Figure BDA0004141328130000142
无监督感知损失函数值的计算过程，包括：
Figure BDA0004141328130000143
其中，W为图宽，H为图高，i为增强图像与训练图像的第i列像素，j为增强图像与训练图像的第j行像素，
Figure BDA0004141328130000144
为训练好的全卷积VGG16特征提取模型第5个池化层后的第1个卷积层。
可以理解的是，全卷积VGG16特征提取模型，指的是在常规VGG16模型的基础上，将最后三层的全连接层改为卷积层的VGG16特征提取模型。通过ImageNet预训练得到训练好的全卷积VGG16特征提取模型后，采用训练好的全卷积VGG16特征提取模型分别对低光训练图像、常光训练图像、第一增强图和第二增强图进行特征提取，对应输出多张感知特征图，感知特征图用于进行无监督感知损失函数值的计算。
可选地，初始图像对抗模型包括带有LeakyReLU激活函数的卷积层、下采样层、上采样层和普通卷积层；初始图像对抗模型的执行过程，包括：
对输入初始图像对抗模型的对抗输入特征图像通过带有LeakyReLU激活函数的卷积层进行局部特征提取，生成第一对抗图；
采用级联的下采样层和带有LeakyReLU激活函数的卷积层对第一对抗图进行最大池化下采样和卷积运算，构建第二对抗图；
通过下采样层对第二对抗图进行最大池化下采样后，采用多层带有LeakyReLU激活函数的卷积层进行连续特征提取，输出第三对抗图；
将第三对抗图输入上采样层进行双线性插值上采样后，与第二对抗图进行逐元素相加，确定第四对抗图；
基于级联的带有LeakyReLU激活函数的卷积层和上采样层对第四对抗图进行卷积滤波和双线性插值上采样后，与第一对抗图进行逐元素相加，生成第五对抗图；
通过多层带有LeakyReLU激活函数的卷积层对第五对抗图进行连续特征提取后，并采用普通卷积层进行图像判别，确定判别结果。
对抗输入特征图，指的是输入图像对抗模型的特征图。可以理解的是，其可以对应为在模型训练的过程中以图像对的形式输入图像对抗模型进行图像判别的特征图。
第一对抗图、第二对抗图、第三对抗图、第四对抗图和第五对抗图，指的是在图像对抗模型中生成的中间图。
在本发明实施例中，参照图8，初始图像对抗模型包括带有LeakyReLU激活函数的卷积层、下采样层、上采样层和普通卷积层，其中包括带有LeakyReLU激活函数的卷积层、下采样层和上采样层组成的多尺度判别模块。输入初始图像对抗模型的对抗输入特征图像先经由多尺度判别模块进行多尺度判别和特征融合后，输出第五对抗图，通过多层的带有LeakyReLU激活函数的卷积层对第五对抗图进行连续三次特征提取后，并采用普通卷积层进行图像判别，确定判别结果。其中，对抗输入特征图像经由多尺度判别模块进行多尺度判别和特征融合后输出第五对抗图的步骤，包括：首先通过带有LeakyReLU激活函数的卷积层对抗输入特征图像进行局部特征提取，生成第一对抗图；其次，采用下采样层对第一对抗图进行最大池化下采样，并经过带有LeakyReLU激活函数的卷积层进行卷积运算后，构建第二对抗图；接着，将第二对抗图输入下采样层进行最大池化下采样后，通过多层的带有LeakyReLU激活函数的卷积层进行连续三次特征提取，输出第三对抗图；然后，通过上采样层对第三对抗图进行双线性插值上采样后，与跳跃连接的第二对抗图进行逐元素相加，确定出第四对抗图；最后，将第四对抗图输入带有LeakyReLU激活函数的卷积层进行卷积滤波后，采用上采样层进行双线性插值上采样，并与跳跃连接的第一对抗图进行逐元素相加，生成第五对抗图。
步骤203、若总损失函数值不收敛，则采用梯度下降法更新全部初始图像生成模型和全部初始图像对抗模型的模型参数，并跳转执行采用训练集对全部初始图像生成模型和全部初始图像对抗模型进行双向训练，确定总损失函数值的步骤。
在本发明实施例中，对每一次训练得到的总损失函数值进行收敛判断，若总损失函数值不收敛，则根据总损失函数值中包含的损失函数值的梯度，采用梯度下降法更新全部初始图像生成模型和全部初始图像对抗模型的模型参数，并跳转执行步骤202。
可以理解的是，采用梯度下降法更新模型参数的具体过程可以参考现有技术，在此不再赘述。
步骤204、若总损失函数值收敛，则以当前模型参数确定优化图像生成模型。
优化图像生成模型，指的是对初始图像生成模型进行训练并迭代优化至总损失函数值收敛，得到的图像生成模型。
在本发明实施例中，若当前次的训练得到的总损失函数值收敛，则以当前的模型参数确定出优化图像生成模型和优化图像对抗模型。
步骤205、将低光测试图像输入优化图像生成模型进行图像增强，输出增强测试图像。
在本发明实施例中，当通过总损失函数值的收敛判断确定出优化图像生成模型后，采用测试集中的低光测试图像输入至优化图像生成模型中进行图像处理，对应输出增强测试图像。
步骤206、计算增强测试图像的自然图像质量评价指标值和基于元学习的无参考图像评价指标值。
在本发明实施例中，对低光测试图像对应的增强测试图像，采用自然图像质量评价(NIQE)指标的算法计算增强测试图像的自然图像质量评价指标值，通过基于元学习的无参考图像评价(MetaIQA)指标的算法计算增强测试图像的基于元学习的无参考图像评价指标值，以对优化图像生成模型进行模型验证。
可以理解的是，自然图像质量评价(NIQE)指标和基于元学习的无参考图像评价(MetaIQA)指标都是对单幅图像质量的评价，具体可以参考现有技术，在此不再赘述。
步骤207、当自然图像质量评价指标值小于第一预设理想值，且基于元学习的无参考图像评价指标值大于第二预设理想值时，确定目标图像生成模型；其中，目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。
第一预设理想值，指的是对应于自然图像质量评价(NIQE)指标设定的理想值。
第二预设理想值，指的是对应于基于元学习的无参考图像评价(MetaIQA)指标设定的理想值。
在本发明实施例中，将增强测试图像的图像质量指标值与对应的理想值进行比较，判断是否自然图像质量评价指标值小于第一预设理想值且基于元学习的无参考图像评价指标值大于第二预设理想值。若是，则确定出目标图像生成模型，其中目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。若否，则调整优化图像生成模型的模型参数，并将更新后的优化图像生成模型作为新的初始图像生成模型，以优化图像对抗模型作为新的初始图像对抗模型，并跳转执行步骤202以继续对模型进行训练。
步骤208、当接收到目标输电线路监控图像时，采用编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图。
可选地，编码器包括带有LeakyReLU激活函数的卷积层、上下文特征提取模块和级联模块；步骤208包括以下子步骤：
当接收到目标输电线路监控图像时，采用带有LeakyReLU激活函数的卷积层对目标输电线路监控图像进行初步特征提取，生成初步特征图；
通过上下文特征提取模块对初步特征图进行上下文信息提取，构建深层特征图；
将深层特征图输入级联模块进行下采样和细化特征提取，输出级联特征图；
采用级联模块对级联特征图进行下采样和全局特征提取，生成编码特征图；其中，级联模块包括级联的残差D模块和上下文特征提取模块。
优选地，上下文特征提取模块包括第一卷积层、第二卷积层和第三卷积层，其中第一卷积层和第二卷积层均带有LeakyReLU激活函数；上下文特征提取模块的图像处理过程，包括：
对输入上下文特征提取模块的上下文输入特征图采用第一卷积层进行特征提取，生成第一特征图；
分别通过第二卷积层和级联的多个第二卷积层对第一特征图进行卷积运算，对应构建第二特征图和第三特征图；
采用第三卷积层对上下文输入特征图进行通道降维后，与第二特征图和第三特征图进行逐元素相加，输出上下文输出特征图。
上下文输入特征图，指的是输入上下文特征提取模块的特征图，可以对应为在模型训练的过程中任一输入上下文特征提取模块进行图像处理的特征图。第一特征图、第二特征图和第三特征图，指的是在上下文特征提取模块中生成的中间图。上下文输出特征图，指的是上下文特征提取模块输出的特征图，可以对应为在模型训练的过程中上下文特征提取模块进行图像处理后输出的特征图。
可以理解的是，上下文特征提取模块包括三个分别由卷积核不同的卷积层组成的提取分支，第一个提取分支包括第一卷积层和多个第二卷积层，第二个提取分支包括第二卷积层，第三个提取分支包括第三卷积层。
进一步地，残差D模块包括第一残差卷积层、第二残差卷积层和平均池化层；残差D模块的图像处理过程，包括：
对输入残差D模块的残差输入特征图采用级联的第一残差卷积层、第二残差卷积层和第一残差卷积层进行特征提取，构建第一残差图；
通过平均池化层对输入特征图进行平均池化操作后，采用第一残差卷积层进行卷积运算，生成第二残差图；
将第一残差图和第二残差图进行通道拼接，输出残差输出特征图。
残差输入特征图，指的是输入残差D模块的特征图，可以对应为在模型训练的过程中任一输入残差D模块进行图像处理的特征图。第一残差图和第二残差图，指的是在残差D模块中生成的中间图。残差输出特征图，指的是残差D模块输出的特征图，可以对应为在模型训练的过程中残差D模块进行图像处理后输出的特征图。
在本发明实施例中，参照图4-5，当接收到目标输电线路监控图像时，可以先由卷积核为3的带有LeakyReLU激活函数的卷积层对目标输电线路监控图像来初步提取特征，通道数N由3通道增加为32通道，生成的初步特征图将输入到第一个上下文特征提取模块中。在第一个上下文特征提取模块中，对初步特征图采用1×1第一卷积层进行特征提取后生成第一特征图，分别通过3×3第二卷积层和级联的多个3×3第二卷积层对第一特征图进行卷积运算，对应构建出第二特征图和第三特征图，将初步特征图输入1×1第三卷积层进行通道降维后，与第二特征图和第三特征图进行逐元素相加输出深层特征图，通道数由32通道增加为64通道。
将深层特征图输入至第一个级联模块的残差D模块，在残差D模块中，采用串联的1×1第一残差卷积层、步长为2的3×3第二残差卷积层和1×1第一残差卷积层对深层特征图进行特征提取，构建第一残差图，通过平均池化层对深层特征图进行平均池化操作后，采用1×1第一残差卷积层进行卷积运算，生成第二残差图，将第一残差图和第二残差图进行通道拼接后，输入至第一个级联模块的上下文特征提取模块中获取不同大小的感受野，输出级联特征图，特征图大小变为原来的一半，通道数增加为128。采用第二个级联模块的残差D模块和上下文特征提取模块对级联特征图进行下采样和全局特征提取生成编码特征图，特征图大小变为最初的四分之一，通道数增加为256。
步骤209、通过感受野残差模块对编码特征图进行特征提取，生成残差特征图。
可选地，感受野残差模块包括多级残差连接的第一空洞卷积层、第二空洞卷积层和第三空洞卷积层以及标准卷积层；步骤209包括以下子步骤：：
对编码特征图采用第一空洞卷积层进行空洞卷积滤波，输出第一空洞图；
将编码特征图与第一空洞图进行逐元素相加，生成第二空洞图；
通过第二空洞卷积层对第二空洞图进行特征提取后，与编码特征图和第二空洞图进行逐元素相加，构建第三空洞图；
将第三空洞图输入第三空洞卷积层进行空洞卷积运算，确定第四空洞图；
采用标准卷积层对编码特征图进行通道降维，并与第二空洞图和第四空洞图进行逐元素相加，输出残差特征图。
可以理解的是，第一空洞卷积层、第二空洞卷积层和第三空洞卷积层是空洞率不同的空洞卷积层，其空洞率依序增大。
在本发明实施例中，参照图6，对输入感受野残差模块的编码特征图，采用空洞率为1的3×3第一空洞卷积层进行空洞卷积滤波输出第一空洞图，将编码特征图与第一空洞图进行逐元素相加的特征融合生成第二空洞图，对第二空洞图采用空洞率为2的3×3第二空洞卷积层进行特征提取后，与跳跃连接的编码特征图和第二空洞图进行逐元素相加构建第三空洞图，通过空洞率为4的3×3第三空洞卷积层对第三空洞图进行空洞卷积运算确定第四空洞图，采用1×1标准卷积层对编码特征图进行通道降维，并与跳跃连接的第二空洞图和第四空洞图进行逐元素相加，输出残差特征图。感受野残差模块通过采用扩张率不同的空洞卷积以多级残差的方式，进行有效增大感受野来进一步获取特征图的低频信息。
步骤210、将残差特征图输入光照注意力模块进行特征加权，构建权重特征图。
可选地，光照注意力模块包括级联的通道注意力模块和空间注意力模块；光照注意力模块的图像处理过程，包括：
S1、采用通道注意力模块对输入光照注意力模块的光照输入特征图加深通道权重，生成通道输出特征图；
S2、将通道输出特征图输入空间注意力模块加深空间权重，输出光照输出特征图。
可以理解的是，光照输入特征图可以对应为输入光照注意力模块进行图像处理的残差特征图等特征图，光照输出特征图可以对应为光照注意力模块图像处理后输出的权重特征图等特征图。
优选地，通道注意力模块包括平均池化层、最大池化层、带有LeakyReLU激活函数的第一通道卷积层、第二通道卷积层和Sigmoid函数；步骤S1包括：
对输入光照注意力模块的光照输入特征图分别采用平均池化层和最大池化层进行平均池化操作和最大池化操作，对应生成第一通道图和第二通道图；
将第一通道图和第二通道图进行逐元素相加，构建第三通道图；
分别采用级联的第一通道卷积层和第二通道卷积层对第一通道图、第二通道图和第三通道图并行特征提取后，并进行逐元素相加输出第四通道图；
通过Sigmoid函数提取第四通道图的通道特征权重，并将通道特征权重与光照输入特征图进行逐元素相乘，确定通道输出特征图。
优选地，空间注意力模块包括平均池化层、最大池化层、第一空间卷积层、第二空间卷积层、第三空间卷积层、第四空间卷积层和Sigmoid函数，其中第一空间卷积层、第二空间卷积层和第三空间卷积层均带有LeakyReLU激活函数；步骤S2包括：
分别采用平均池化层和最大池化层对通道输出特征图进行平均池化操作和最大池化操作后，进行通道拼接生成第一空间图；
将第一空间图输入级联的第一空间卷积层和第四空间卷积层进行特征提取，构建第二空间图；
对第一空间图采用级联的第二空间卷积层和第四空间卷积层进行卷积运算，输出第三空间图；
通过级联的第三空间卷积层和第四空间卷积层对第一空间图进行卷积滤波，确定第四空间图；
采用第二空间图、第三空间图和第四空间图进行逐元素相加，生成第五空间图；
通过Sigmoid函数激活第五空间图确定空间特征权重，并对空间特征权重与通道输出特征图进行逐元素相乘，输出光照输出特征图。
在本发明实施例中，参照图7，对输入通道注意力模块的光照输入特征图分别进行平均池化和最大池化后对应生成第一通道图和第二通道图，采用第一通道图和第二通道图进行逐元素相加的特征融合构建第三通道图。通过三个并联的由级联的3×3第一通道卷积层和1×1第二通道卷积层组成的通道分支，分别对第一通道图、第二通道图和第三通道图并行特征提取后，并进行逐元素相加确定第四通道图，通过Sigmoid函数提取第四通道图的通道特征权重，采用通道特征权重与光照输入特征图进行逐元素相乘，输出通道输出特征图。将输入空间注意力模块的通道输出特征图分别进行平均池化和最大池化后，进行通道拼接生成第一空间图，采用第一空间图分别输入并联的三个空间分支进行卷积运算，生成第二空间图、第三空间图和第四空间图进行逐元素相加构建第五空间图，其中第一个空间分支包括级联的1×1第一空间卷积层和1×1第四空间卷积层，第二个空间分支包括级联的3×3第二空间卷积层和1×1第四空间卷积层，第三个空间分支包括级联的5×5第三空间卷积层和1×1第四空间卷积层。通过Sigmoid函数对第五空间图进行激活，确定空间特征权重，采用空间特征权重与通道输出特征图进行逐元素相乘，输出光照输出特征图。
步骤211、采用光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
可选地，解码器包括上采样层、带有LeakyReLU激活函数的卷积层、上下文特征提取模块和带有Tanh激活函数的卷积层；步骤211包括以下子步骤：
通过光照注意力模块分别对初步特征图和级联特征图进行特征加权后，对应输出第一光照图和第二光照图；
将权重特征图输入上采样层进行双线性插值上采样后，与第二光照图进行通道拼接，生成第一解码图；
采用级联的带有LeakyReLU激活函数的卷积层、上下文特征提取模块和上采样层对第一解码图进行通道压缩、特征提取和双线性插值上采样，并与第一光照图进行通道拼接，构建第二解码图；
通过级联的带有LeakyReLU激活函数的卷积层和上下文特征提取模块对第二解码图进行通道降维和多尺度特征提取，确定第三解码图；
对第三解码图采用带有Tanh激活函数的卷积层进行特征提取映射，输出目标增强图像。
在本发明实施例中，参照图4，权重特征图进入解码器后，首先经由上采样层进行双线性插值上采样后，与编码器中输出的初步特征图经过光照注意力模块进行特征加权后的第一光照图跳跃通道拼接，生成第一解码图。通过带有LeakyReLU激活函数的卷积层对第一解码图进行通道压缩，通道数降为128后，经由上下文特征提取模块进行多尺度特征提取，通道数降为64，再通过上采样层进行双线性插值上采样后，并与编码器中输出的级联特征图经由光照注意力模块进行特征加权后生成的第二光照图进行通道拼接，构建第二解码图。带有LeakyReLU激活函数的卷积层对第二解码图进行通道压缩后，再输入上下文特征提取模块进行特征提取，确定出第三解码图，通道数降为32。最后，通过带有Tanh激活函数的卷积层对第三解码图进行特征提取后，映射输出目标增强图像。
在本发明实施例中，采用接收到的训练集对构建的两个初始图像生成模型和两个初始图像对抗模型进行双向训练并确定总损失函数值，基于总损失函数值对模型进行迭代优化，并采用接收到的测试集结合图像质量评价指标值进行模型验证，确定出目标图像生成模型，当接受到目标输电线路监控图像时，采用目标图像生成模型中的编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图，将编码特征图输入串联的感受野残差模块和对光照注意力模块进行特征提取和特征加权，构建权重特征图，通过光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。通过该目标图像生成模型得到的增强图像，提高了图像纹理细节清晰度，同时避免了图像曝光过度或者曝光不足现象的发生，增强后的图像质量更佳，为输电线路缺陷检测提供更加准确可靠的图像信息。
请参阅图9，图9为实施例三提供的一种输电线路监控图像增强装置的结构框图。
本发明提供的一种输电线路监控图像增强装置，包括：
模型构建模块901，用于当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型；
模型训练模块902，用于采用训练集和测试集对全部初始图像生成模型和全部初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器；
编码器处理模块903，用于当接收到目标输电线路监控图像时，采用编码器对目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图；
残差特征图生成模块904，用于通过感受野残差模块对编码特征图进行特征提取，生成残差特征图；
权重特征图构建模块905，用于将残差特征图输入光照注意力模块进行特征加权，构建权重特征图；
目标增强图像输出模块906，用于采用光照注意力模块和解码器对初步特征图、级联特征图和权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
可选地，测试集包括低光测试图像；模型训练模块902包括：
总损失函数值确定子模块，用于采用训练集对全部初始图像生成模型和全部初始图像对抗模型进行双向训练，确定总损失函数值；
总损失函数值收敛判断子模块，用于若总损失函数值不收敛，则采用梯度下降法更新全部初始图像生成模型和全部初始图像对抗模型的模型参数，并跳转执行采用训练集对全部初始图像生成模型和全部初始图像对抗模型进行双向训练，确定总损失函数值的步骤；若总损失函数值收敛，则以当前模型参数确定优化图像生成模型；
模型测试子模块，用于将低光测试图像输入优化图像生成模型进行图像增强，输出增强测试图像；
图像评价指标值计算子模块，用于计算增强测试图像的自然图像质量评价指标值和基于元学习的无参考图像评价指标值；
目标图像生成模型确定子模块，用于当自然图像质量评价指标值小于第一预设理想值，且基于元学习的无参考图像评价指标值大于第二预设理想值时，确定目标图像生成模型；其中，目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。
可选地，训练集包括常光训练图像和低光训练图像；两个初始图像生成模型包括正向图像生成模型和反向图像生成模型；两个初始图像对抗模型包括正向图像对抗模型和反向图像对抗模型；总损失函数值收敛判断子模块具体用于：
将低光训练图像和常光训练图像分别输入正向图像生成模型和反向图像生成模型进行图像增强，输出第一增强图和第二增强图；
采用第一增强图和第二增强图分别输入反向图像生成模型和正向图像生成模型进行图像转换，构建第一重建图和第二重建图；
通过正向图像对抗模型基于第一增强图和常光训练图像进行图像判别，生成第一判别结果；
通过反向图像对抗模型对第二增强图和低光训练图像进行图像判别，输出第二判别结果；
采用低光训练图像、常光训练图像、第一增强图、第二增强图、第一重建图、第二重建图、第一判别结果和第二判别结果，计算对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值；
将对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值进行加法运算，确定总损失函数值。
可选地，初始图像对抗模型包括带有LeakyReLU激活函数的卷积层、下采样层、上采样层和普通卷积层；初始图像对抗模型的执行过程，包括：
对输入初始图像对抗模型的对抗输入特征图像通过带有LeakyReLU激活函数的卷积层进行局部特征提取，生成第一对抗图；
采用级联的下采样层和带有LeakyReLU激活函数的卷积层对第一对抗图进行最大池化下采样和卷积运算，构建第二对抗图；
通过下采样层对第二对抗图进行最大池化下采样后，采用多层带有LeakyReLU激活函数的卷积层进行连续特征提取，输出第三对抗图；
将第三对抗图输入上采样层进行双线性插值上采样后，与第二对抗图进行逐元素相加，确定第四对抗图；
基于级联的带有LeakyReLU激活函数的卷积层和上采样层对第四对抗图进行卷积滤波和双线性插值上采样后，与第一对抗图进行逐元素相加，生成第五对抗图；
通过多层带有LeakyReLU激活函数的卷积层对第五对抗图进行连续特征提取后，并采用普通卷积层进行图像判别，确定判别结果。
可选地，编码器包括带有LeakyReLU激活函数的卷积层、上下文特征提取模块和级联模块；编码器处理模块903具体用于：
当接收到目标输电线路监控图像时，采用带有LeakyReLU激活函数的卷积层对目标输电线路监控图像进行初步特征提取，生成初步特征图；
通过上下文特征提取模块对初步特征图进行上下文信息提取，构建深层特征图；
将深层特征图输入级联模块进行下采样和细化特征提取，输出级联特征图；
采用级联模块对级联特征图进行下采样和全局特征提取，生成编码特征图；其中，级联模块包括级联的残差D模块和上下文特征提取模块。
进一步地，上下文特征提取模块包括第一卷积层、第二卷积层和第三卷积层，其中第一卷积层和第二卷积层均带有LeakyReLU激活函数；上下文特征提取模块的图像处理过程，包括：
对输入上下文特征提取模块的上下文输入特征图采用第一卷积层进行特征提取，生成第一特征图；
分别通过第二卷积层和级联的多个第二卷积层对第一特征图进行卷积运算，对应构建第二特征图和第三特征图；
采用第三卷积层对上下文输入特征图进行通道降维后，与第二特征图和第三特征图进行逐元素相加，输出上下文输出特征图。
可选地，感受野残差模块包括多级残差连接的第一空洞卷积层、第二空洞卷积层和第三空洞卷积层以及标准卷积层；残差特征图生成模块904具体用于：
对编码特征图采用第一空洞卷积层进行空洞卷积滤波，输出第一空洞图；
将编码特征图与第一空洞图进行逐元素相加，生成第二空洞图；
通过第二空洞卷积层对第二空洞图进行特征提取后，与编码特征图和第二空洞图进行逐元素相加，构建第三空洞图；
将第三空洞图输入第三空洞卷积层进行空洞卷积运算，确定第四空洞图；
采用标准卷积层对编码特征图进行通道降维，并与第二空洞图和第四空洞图进行逐元素相加，输出残差特征图。
可选地，光照注意力模块包括级联的通道注意力模块和空间注意力模块；通道注意力模块包括平均池化层、最大池化层、带有LeakyReLU激活函数的第一通道卷积层、第二通道卷积层和Sigmoid函数；光照注意力模块的图像处理过程，包括：
对输入光照注意力模块的光照输入特征图分别采用平均池化层和最大池化层进行平均池化操作和最大池化操作，对应生成第一通道图和第二通道图；
将第一通道图和第二通道图进行逐元素相加，构建第三通道图；
分别采用级联的第一通道卷积层和第二通道卷积层对第一通道图、第二通道图和第三通道图并行特征提取后，并进行逐元素相加输出第四通道图；
通过Sigmoid函数提取第四通道图的通道特征权重，并将通道特征权重与光照输入特征图进行逐元素相乘，确定通道输出特征图；
将通道输出特征图输入空间注意力模块加深空间权重，输出光照输出特征图。
进一步地，空间注意力模块包括平均池化层、最大池化层、第一空间卷积层、第二空间卷积层、第三空间卷积层、第四空间卷积层和Sigmoid函数，其中第一空间卷积层、第二空间卷积层和第三空间卷积层均带有LeakyReLU激活函数；将通道输出特征图输入空间注意力模块加深空间权重，输出光照输出特征图的步骤，包括：
分别采用平均池化层和最大池化层对通道输出特征图进行平均池化操作和最大池化操作后，进行通道拼接生成第一空间图；
将第一空间图输入级联的第一空间卷积层和第四空间卷积层进行特征提取，构建第二空间图；
对第一空间图采用级联的第二空间卷积层和第四空间卷积层进行卷积运算，输出第三空间图；
通过级联的第三空间卷积层和第四空间卷积层对第一空间图进行卷积滤波，确定第四空间图；
采用第二空间图、第三空间图和第四空间图进行逐元素相加，生成第五空间图；
通过Sigmoid函数激活第五空间图确定空间特征权重，并对空间特征权重与通道输出特征图进行逐元素相乘，输出光照输出特征图。
可选地，解码器包括上采样层、带有LeakyReLU激活函数的卷积层、上下文特征提取模块和带有Tanh激活函数的卷积层；目标增强图像输出模块906具体用于：
通过光照注意力模块分别对初步特征图和级联特征图进行特征加权后，对应输出第一光照图和第二光照图；
将权重特征图输入上采样层进行双线性插值上采样后，与第二光照图进行通道拼接，生成第一解码图；
采用级联的带有LeakyReLU激活函数的卷积层、上下文特征提取模块和上采样层对第一解码图进行通道压缩、特征提取和双线性插值上采样，并与第一光照图进行通道拼接，构建第二解码图；
通过级联的带有LeakyReLU激活函数的卷积层和上下文特征提取模块对第二解码图进行通道降维和多尺度特征提取，确定第三解码图；
对第三解码图采用带有Tanh激活函数的卷积层进行特征提取映射，输出目标增强图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种输电线路监控图像增强方法，其特征在于，包括：
当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型；
采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器；
当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图；
通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图；
将所述残差特征图输入所述光照注意力模块进行特征加权，构建权重特征图；
采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
2.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述测试集包括低光测试图像；所述采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器的步骤，包括：
采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值；
若所述总损失函数值不收敛，则采用梯度下降法更新全部所述初始图像生成模型和全部所述初始图像对抗模型的模型参数，并跳转执行所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤；
若所述总损失函数值收敛，则以当前模型参数确定优化图像生成模型；
将所述低光测试图像输入所述优化图像生成模型进行图像增强，输出增强测试图像；
计算所述增强测试图像的自然图像质量评价指标值和基于元学习的无参考图像评价指标值；
当所述自然图像质量评价指标值小于第一预设理想值，且所述基于元学习的无参考图像评价指标值大于第二预设理想值时，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器。
3.根据权利要求2所述的输电线路监控图像增强方法，其特征在于，所述训练集包括常光训练图像和低光训练图像；两个所述初始图像生成模型包括正向图像生成模型和反向图像生成模型；两个所述初始图像对抗模型包括正向图像对抗模型和反向图像对抗模型；所述采用所述训练集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练，确定总损失函数值的步骤，包括：
将所述低光训练图像和所述常光训练图像分别输入所述正向图像生成模型和所述反向图像生成模型进行图像增强，输出第一增强图和第二增强图；
采用所述第一增强图和所述第二增强图分别输入所述反向图像生成模型和所述正向图像生成模型进行图像转换，构建第一重建图和第二重建图；
通过所述正向图像对抗模型基于所述第一增强图和所述常光训练图像进行图像判别，生成第一判别结果；
通过所述反向图像对抗模型对所述第二增强图和所述低光训练图像进行图像判别，输出第二判别结果；
采用所述低光训练图像、所述常光训练图像、所述第一增强图、所述第二增强图、所述第一重建图、所述第二重建图、所述第一判别结果和所述第二判别结果，计算对抗损失函数值、循环一致性损失函数值、身份一致性损失函数值和无监督感知损失函数值；
将所述对抗损失函数值、所述循环一致性损失函数值、所述身份一致性损失函数值和所述无监督感知损失函数值进行加法运算，确定总损失函数值。
4.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述初始图像对抗模型包括带有LeakyReLU激活函数的卷积层、下采样层、上采样层和普通卷积层；所述初始图像对抗模型的执行过程，包括：
对输入所述初始图像对抗模型的对抗输入特征图像通过带有LeakyReLU激活函数的卷积层进行局部特征提取，生成第一对抗图；
采用级联的下采样层和带有LeakyReLU激活函数的卷积层对所述第一对抗图进行最大池化下采样和卷积运算，构建第二对抗图；
通过下采样层对所述第二对抗图进行最大池化下采样后，采用多层带有LeakyReLU激活函数的卷积层进行连续特征提取，输出第三对抗图；
将所述第三对抗图输入上采样层进行双线性插值上采样后，与所述第二对抗图进行逐元素相加，确定第四对抗图；
基于级联的带有LeakyReLU激活函数的卷积层和上采样层对所述第四对抗图进行卷积滤波和双线性插值上采样后，与所述第一对抗图进行逐元素相加，生成第五对抗图；
通过多层带有LeakyReLU激活函数的卷积层对所述第五对抗图进行连续特征提取后，并采用普通卷积层进行图像判别，确定判别结果。
5.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述编码器包括带有LeakyReLU激活函数的卷积层、上下文特征提取模块和级联模块；所述当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图的步骤，包括：
当接收到目标输电线路监控图像时，采用带有LeakyReLU激活函数的卷积层对所述目标输电线路监控图像进行初步特征提取，生成初步特征图；
通过上下文特征提取模块对所述初步特征图进行上下文信息提取，构建深层特征图；
将所述深层特征图输入级联模块进行下采样和细化特征提取，输出级联特征图；
采用级联模块对所述级联特征图进行下采样和全局特征提取，生成编码特征图；其中，所述级联模块包括级联的残差D模块和上下文特征提取模块。
6.根据权利要求5所述的输电线路监控图像增强方法，其特征在于，所述上下文特征提取模块包括第一卷积层、第二卷积层和第三卷积层，其中第一卷积层和第二卷积层均带有LeakyReLU激活函数；所述上下文特征提取模块的图像处理过程，包括：
对输入所述上下文特征提取模块的上下文输入特征图采用第一卷积层进行特征提取，生成第一特征图；
分别通过第二卷积层和级联的多个第二卷积层对所述第一特征图进行卷积运算，对应构建第二特征图和第三特征图；
采用第三卷积层对所述上下文输入特征图进行通道降维后，与所述第二特征图和所述第三特征图进行逐元素相加，输出上下文输出特征图。
7.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述感受野残差模块包括多级残差连接的第一空洞卷积层、第二空洞卷积层和第三空洞卷积层以及标准卷积层；所述通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图的步骤，包括：
对所述编码特征图采用第一空洞卷积层进行空洞卷积滤波，输出第一空洞图；
将所述编码特征图与所述第一空洞图进行逐元素相加，生成第二空洞图；
通过第二空洞卷积层对所述第二空洞图进行特征提取后，与所述编码特征图和所述第二空洞图进行逐元素相加，构建第三空洞图；
将所述第三空洞图输入第三空洞卷积层进行空洞卷积运算，确定第四空洞图；
采用标准卷积层对所述编码特征图进行通道降维，并与所述第二空洞图和所述第四空洞图进行逐元素相加，输出残差特征图。
8.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述光照注意力模块包括级联的通道注意力模块和空间注意力模块；所述通道注意力模块包括平均池化层、最大池化层、带有LeakyReLU激活函数的第一通道卷积层、第二通道卷积层和Sigmoid函数；所述光照注意力模块的图像处理过程，包括：
对输入所述光照注意力模块的光照输入特征图分别采用所述平均池化层和所述最大池化层进行平均池化操作和最大池化操作，对应生成第一通道图和第二通道图；
将所述第一通道图和所述第二通道图进行逐元素相加，构建第三通道图；
分别采用级联的第一通道卷积层和第二通道卷积层对所述第一通道图、所述第二通道图和所述第三通道图并行特征提取后，并进行逐元素相加输出第四通道图；
通过Sigmoid函数提取所述第四通道图的通道特征权重，并将所述通道特征权重与所述光照输入特征图进行逐元素相乘，确定通道输出特征图；
将所述通道输出特征图输入空间注意力模块加深空间权重，输出光照输出特征图。
9.根据权利要求8所述的输电线路监控图像增强方法，其特征在于，所述空间注意力模块包括平均池化层、最大池化层、第一空间卷积层、第二空间卷积层、第三空间卷积层、第四空间卷积层和Sigmoid函数，其中第一空间卷积层、第二空间卷积层和第三空间卷积层均带有LeakyReLU激活函数；所述将所述通道输出特征图输入空间注意力模块加深空间权重，输出光照输出特征图的步骤，包括：
分别采用平均池化层和最大池化层对所述通道输出特征图进行平均池化操作和最大池化操作后，进行通道拼接生成第一空间图；
将所述第一空间图输入级联的第一空间卷积层和第四空间卷积层进行特征提取，构建第二空间图；
对所述第一空间图采用级联的第二空间卷积层和第四空间卷积层进行卷积运算，输出第三空间图；
通过级联的第三空间卷积层和第四空间卷积层对所述第一空间图进行卷积滤波，确定第四空间图；
采用所述第二空间图、所述第三空间图和所述第四空间图进行逐元素相加，生成第五空间图；
通过Sigmoid函数激活所述第五空间图确定空间特征权重，并对所述空间特征权重与所述通道输出特征图进行逐元素相乘，输出光照输出特征图。
10.根据权利要求1所述的输电线路监控图像增强方法，其特征在于，所述解码器包括上采样层、带有LeakyReLU激活函数的卷积层、上下文特征提取模块和带有Tanh激活函数的卷积层；所述采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像的步骤，包括：
通过所述光照注意力模块分别对所述初步特征图和所述级联特征图进行特征加权后，对应输出第一光照图和第二光照图；
将所述权重特征图输入上采样层进行双线性插值上采样后，与所述第二光照图进行通道拼接，生成第一解码图；
采用级联的带有LeakyReLU激活函数的卷积层、上下文特征提取模块和上采样层对所述第一解码图进行通道压缩、特征提取和双线性插值上采样，并与所述第一光照图进行通道拼接，构建第二解码图；
通过级联的带有LeakyReLU激活函数的卷积层和上下文特征提取模块对所述第二解码图进行通道降维和多尺度特征提取，确定第三解码图；
对所述第三解码图采用带有Tanh激活函数的卷积层进行特征提取映射，输出目标增强图像。
11.一种输电线路监控图像增强装置，其特征在于，包括：
模型构建模块，用于当接收到训练集和测试集时，构建两个初始图像生成模型和两个初始图像对抗模型；
模型训练模块，用于采用所述训练集和所述测试集对全部所述初始图像生成模型和全部所述初始图像对抗模型进行双向训练和模型验证，确定目标图像生成模型；其中，所述目标图像生成模型包括编码器、感受野残差模块、光照注意力模块和解码器；
编码器处理模块，用于当接收到目标输电线路监控图像时，采用所述编码器对所述目标输电线路监控图像进行多层特征提取，输出初步特征图、级联特征图和编码特征图；
残差特征图生成模块，用于通过所述感受野残差模块对所述编码特征图进行特征提取，生成残差特征图；
权重特征图构建模块，用于将所述残差特征图输入所述光照注意力模块进行特征加权，构建权重特征图；
目标增强图像输出模块，用于采用所述光照注意力模块和所述解码器对所述初步特征图、所述级联特征图和所述权重特征图进行多尺度特征提取和特征融合，确定目标增强图像。
CN202310290466.9A 2023-03-22 2023-03-22 一种输电线路监控图像增强方法和装置 Pending CN116309171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310290466.9A CN116309171A (zh) 2023-03-22 2023-03-22 一种输电线路监控图像增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310290466.9A CN116309171A (zh) 2023-03-22 2023-03-22 一种输电线路监控图像增强方法和装置

Publications (1)

Publication Number Publication Date
CN116309171A true CN116309171A (zh) 2023-06-23

Family

ID=86814758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310290466.9A Pending CN116309171A (zh) 2023-03-22 2023-03-22 一种输电线路监控图像增强方法和装置

Country Status (1)

Country Link
CN (1) CN116309171A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116645298A (zh) * 2023-07-26 2023-08-25 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN116645298B (zh) * 2023-07-26 2024-01-26 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置

Similar Documents

Publication Publication Date Title
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN114092330B (zh) 一种轻量化多尺度的红外图像超分辨率重建方法
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN109447907B (zh) 一种基于全卷积神经网络的单图像增强方法
CN109584170B (zh) 基于卷积神经网络的水下图像复原方法
CN112070690B (zh) 基于卷积神经网络双分支注意力生成的单幅图像去雨方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN111709265A (zh) 基于注意力机制残差网络的摄像监控状态分类方法
CN110223251B (zh) 适用于人工与自然光源的卷积神经网络水下图像复原方法
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN113344773B (zh) 基于多级对偶反馈的单张图片重构hdr方法
CN111787187A (zh) 利用深度卷积神经网络进行视频修复的方法、系统、终端
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN111105376A (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111612722A (zh) 基于简化Unet全卷积神经网络的低照度图像处理方法
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN111553856B (zh) 基于深度估计辅助的图像去雾方法
CN116309171A (zh) 一种输电线路监控图像增强方法和装置
CN116485741A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN116109510A (zh) 一种基于结构和纹理对偶生成的人脸图像修复方法
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination