CN117115033A - 基于强光抑制的电力作业现场弱光图像增强方法 - Google Patents
基于强光抑制的电力作业现场弱光图像增强方法 Download PDFInfo
- Publication number
- CN117115033A CN117115033A CN202311127202.8A CN202311127202A CN117115033A CN 117115033 A CN117115033 A CN 117115033A CN 202311127202 A CN202311127202 A CN 202311127202A CN 117115033 A CN117115033 A CN 117115033A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- strong light
- loss
- weak light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005764 inhibitory process Effects 0.000 title claims abstract description 17
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 34
- 230000001795 light effect Effects 0.000 claims abstract description 28
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000007717 exclusion Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 241000006302 Usnea Species 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20088—Trinocular vision calculations; trifocal tensor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于强光抑制的电力作业现场弱光图像增强方法,包括以下步骤:步骤一:基于滑动窗口对强光进行判断;步骤二:基于层分解网络的光效分解和基于核选择模块的Zero‑DCE弱光增强;步骤三:针对输入的弱光RGB图像,进行灰度变换后使用滑动窗口搜索图片并判断强光区域。本发明通过从电力作业实际应用的角度同时考虑了作业现场图像整体弱光和弱光中存在强光源两种情况,设计了一种基于滑动窗口的强光判断方法,使用滑动窗口分割图像,根据灰度子图与强光阈值的偏差的平均值和平均偏差进行亮度判断,寻找强光;通过对存在强光的RGB图像进行光效分解,剔除光效层,减少强光效对弱光图像增强的干扰。
Description
技术领域
本发明涉及一种图像增强方法,具体为基于强光抑制的电力作业现场弱光图像增强方法,属于计算机科学与技术领域。
背景技术
真实的场景中的图像质量往往受到天气、光照等环境的影响,使得一些图像信息在黑暗中消失,表现出低照度的特点。弱光图像增强的研究可以归纳为两大类:传统的增强方法和基于深度学习的增强方法。基于深度学习的弱光图像增强方法可以从监督学习和无监督学习两个角度进行梳理。而比较权威的传统弱光图像增强方法包括基于直方图均衡的方法、Gamma校正和基于Retinex理论的方法,传统算法具有处理速度快和部署便捷的优点,但缺乏对真实光照条件的参考,存在噪声被保留或放大、出现伪影和颜色偏差等问题。
随着计算机视觉等人工智能技术的发展,智能视频监控系统广泛应用于电力作业场景。受天气、光线等影响,电力作业现场存在光线不足、光线不均、逆光等问题,导致图像可见度较差,弱光图像严重影响作业现场的目标检测和作业人员行为识别任务的准确率。在弱光图像中对电力作业人员进行骨骼关键点检测出现大量误检和漏检,进而严重影响使用骨骼关键点对作业人员的行为监控。对比灰度直方图,弱光图像的灰度直方图呈现出像素分布不均匀,灰度较小的像素占大多数的特点,而且由于电力行业的特殊性,经常在夜晚利用强光源补光作业,虽然强光源增强了局部亮度,但是会对弱光增强产生干扰,导致局部曝光过度,为此,提出基于强光抑制的电力作业现场弱光图像增强方法。
发明内容
有鉴于此,本发明提供基于强光抑制的电力作业现场弱光图像增强方法,以解决或缓解现有技术中存在的技术问题,至少提供一种有益的选择。
本发明实施例的技术方案是这样实现的:基于强光抑制的电力作业现场弱光图像增强方法,包括以下步骤:
步骤一:基于滑动窗口对强光进行判断;
步骤二:基于层分解网络的光效分解和基于核选择模块的Zero-DCE弱光增强;
步骤三:针对输入的弱光RGB图像,进行灰度变换后使用滑动窗口搜索图片并判断强光区域;
步骤四:利用层分解网络进行强光图像的光效分解,并获取去除光效层后的背景层;
步骤五:对背景层图片基于核选择模块的Zero-DCE网络实现弱光增强。
进一步优选的,在步骤一中,首先将输入的弱光RGB图像变换为灰度图,然后以灰度图像素宽的1/15作为正方形滑动窗口的边长a,从左上角开始依次以a为步长进行滑动;
灰度子图中每个像素点的灰度值为x(i,j)(0≤i<a,0≤j<a),x的范围是0-255。通过公示计算大量强光子图灰度平均值,计算公式为:
最后计算每个灰度子图与强光阈值θ的偏差的平均值AVG和平均偏差A.D.,进一步计算亮度参数S,当S>1,AVG>0时,判定图像中存在强光。
进一步优选的,在步骤一中,灰度图像与强光阈值θ的偏差的平均值的计算公式为:
灰度图像与强光阈值θ的平均偏差的计算公式为:
其中a为滑动窗口的边长,H[i]代表灰度级为i的像素在灰度图中的数量。亮度参数S的计算公式为:
进一步优选的,在步骤二中,将判断为存在强光的RGB图像输入层分解网络,通过φG,φL和φR三个独立网络和无监督损失将其分解为光效层、阴影层和反射层,得到RGB图像的光效分解结果如下:
其中I为输入图像,G=φG(I)为光效层,L=φL(I)为阴影层,R=φR(I)为反射层,表示逐元素相乘。
进一步优选的,在步骤四中,层分解网络使用了一系列的无监督损失,在训练的初始阶段,G和L使用Gi和Li进行监督,直接做L1损失:
Linit=|G-Gi|1+|L-Li|1
其中Gi是对输入图像做二阶拉普拉斯滤波生成的光滑图,Li是对输入图像各个位置的三个通道取最大值生成的灰度图。
进一步优选的,在步骤四中,G的梯度图具有短尾分布,即G图平滑,梯度较小,且几乎不存在大的梯度,而J的梯度图具有长尾分布,通过借助此特性,使用了一个称为Gradient Exclusion Loss的损失,使得在梯度空间中尽可能远地分离G和J两个层,Gradient Exclusion Loss损失定义如下:
其中,G↓n和J↓n表示双线性插值下采样后的G和J,参数和/>是归一化因子,||·||F为弗罗贝尼乌斯范数。
进一步优选的,在步骤四中,弗罗贝尼乌斯范数是一种矩阵范数,定义如下:
其中,A*表示A的共轭转置,σi是A的奇异值;为了尽量减少分解输出中的颜色偏移,使背景图像J中三个颜色通道的强度值范围达到平衡,设定色彩恒常性损失:
其中,(c1,c2)∈{(r,g),(r,b),(g,b)}表示两个颜色通道的组合;对于分解任务,还要求预测的三个图层组合还能复原出原始的输入图像,即设置重建损失:
每个无监督损失乘以各自的权重。
进一步优选的,在步骤五中,将弱光图像作为输入,利用DCE-SKNet学习曲线参数图,然后通过亮度增强曲线对弱光图像进行像素级调整,经过多次迭代获得增强后的图像;
亮度增强曲线的公式为:
LEn(x)=LEn-1(x)+An(x)LEn-1(x)(1-LEn-1(x))
其中,x表示图像像素坐标,n表示迭代次数,An表示曲线参数图,与输入图像大小相等。
进一步优选的,在步骤五中,为了减小参数量和计算量,将DCE-Net中的普通卷积替换为深度可分离卷积,深度卷积块先对每个通道单独进行卷积,提取单通道的信息,再通过1×1的逐点卷积块对输入特征图的通道进行扩展或压缩,得到预期大小的特征图;
充分利用空间特征,使用不同尺度的感受野进行多尺度融合,可以减少噪声干扰;在DCE-Net的第七个卷积层后,加入的三分支核选择模块,自适应地调整感受野大小,动态选择合适的路径,减小噪声对弱光增强的影响;
针对输入特征图U,分别使用3×3,5×5,7×7的卷积核进行处理得到U′、U″和U″′,其中5×5的卷积核是由两个3×3的空洞卷积组成,然后将三者相加得到以整合所有分支的信息。将/>通过全局平均池化嵌入全局信息s,
H和W分别为特征图的高和宽,s再通过全连接层产生一个紧凑的特征图z∈Rd×C:
z=Ffc(s)=δ(B(Ws))
其中,δ表示ReLU激活函数,B表示批规范化处理,W∈Rd×C,d值由压缩比r来控制:
其中,L为d的最小值;
为了得到不同空间尺度的权重,从而获取不同感受野的加权融合信息,对向量z通道方向上进行softmax操作得到:
其中,A,B,C∈RC×d,Ac∈R1×d表示A的第c行,αc为α的第c个元素,α为U′的权重向量,最后将不同大小卷积核处理的特征图与其相应的权重向量相乘,得到最终的输出特征图:
其中,V=[V1,V2,…,Vc],Vc∈RH×W;
为了使网络在零参考信息的情况下完成训练,采用一系列非参考损失,包括空间一致性损失、曝光控制损失、彩色恒常损失和亮度平滑损。
进一步优选的,在步骤五中,空间一致性损失:
为了确保图像增强前后某像素的值和其相邻像素的值的差不发生过大的改变,因此,设置下述误差:
其中,K为局部区域的数量,Ω(i)是以区域i为中心的4个相邻域(上、下、左、右);I和Y分别为输入弱光图像和增强后图像中局部区域的平均强度值;
曝光控制损失:
曝光控制损失表示平均强度值与理想曝光值E之间的距离,使图像增强后具有良好的曝光值,公式如下:
其中,Y为增强图像中局部区域的平均强度值,E表示理想状态下RGB颜色空间的灰度级,设置为0.6,M表示16×16的不重叠区域的数量;
色彩恒常性损失:
根据灰色世界色彩恒常性假设,即将每个传感器通道的颜色平均到整个图像,通过色彩恒常性损失来修正增强图像中潜在的颜色偏差,并在RGB三通道间建立调整关系,保证图像在增强后RGB三通道的平均值尽可能接近,公式如下:
其中,Jp和Jq分别表示通道p和q的平均强度值,(p,q)表示属于ε的一组通道;
光照平滑损失:
在每个曲线参数映射中添加光照平滑损失以保持相邻像素之间的单调关系,即让相邻像素之间的亮度改变不是那么显著,公式如下:
其中,N表示迭代次数,表示各通道的曲线参数图,/>表示图像水平梯度,/>表示图像垂直梯度,ξ表示RGB颜色三通道;
核选择模块的Zero-DCE弱光增强网络的总损失为上述四个损失的加权和:
Ltotal=W1Lspa+W2Lexp+W3Lcol+W4LtvA
其中,W1,W2,W3,W4为四个损失的权重值。
本发明实施例由于采用以上技术方案,其具有以下优点:
一、本发明通过从电力作业实际应用的角度同时考虑了作业现场图像整体弱光和弱光中存在强光源两种情况,设计了一种基于滑动窗口的强光判断方法,使用滑动窗口分割图像,根据灰度子图与强光阈值的偏差的平均值和平均偏差进行亮度判断,寻找强光;
二、本发明使用了一种基于层分解网络的光效分解方法,对存在强光的RGB图像进行光效分解,剔除光效层,减少强光效对弱光图像增强的干扰;
三、本发明构建了一个基于核选择模块的Zero-DCE弱光增强网络,参数量和浮点运算数相较于原始Zero-DCE有大幅下降,增强后图像的主观视觉质量和客观评价指标都优于目前其他先进的方法。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的步骤流程图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
下面结合附图对本发明的实施例进行详细说明。
如图1所示,本发明实施例提供了基于强光抑制的电力作业现场弱光图像增强方法,包括以下步骤:
步骤一:基于滑动窗口对强光进行判断;
步骤二:基于层分解网络的光效分解和基于核选择模块的Zero-DCE弱光增强;
步骤三:针对输入的弱光RGB图像,进行灰度变换后使用滑动窗口搜索图片并判断强光区域;
步骤四:利用层分解网络进行强光图像的光效分解,并获取去除光效层后的背景层;
步骤五:对背景层图片基于核选择模块的Zero-DCE网络实现弱光增强。
在一个实施例中,在步骤一中,首先将输入的弱光RGB图像变换为灰度图,然后以灰度图像素宽的1/15作为正方形滑动窗口的边长a,从左上角开始依次以a为步长进行滑动;
灰度子图中每个像素点的灰度值为x(i,j)(0≤i<a,0≤j<a),x的范围是0-255。通过公示计算大量强光子图灰度平均值,计算公式为:
最后计算每个灰度子图与强光阈值θ的偏差的平均值AVG和平均偏差A.D.,进一步计算亮度参数S,当S>1,AVG>0时,判定图像中存在强光,本发明将强光灰度阈值确定为θ=190;灰度图像与强光阈值θ的偏差的平均值的计算公式为:
灰度图像与强光阈值θ的平均偏差的计算公式为:
其中a为滑动窗口的边长,H[i]代表灰度级为i的像素在灰度图中的数量。亮度参数S的计算公式为:
在一个实施例中,在步骤二中,将判断为存在强光的RGB图像输入层分解网络,通过φG,φL和φR三个独立网络和无监督损失将其分解为光效层、阴影层和反射层,得到RGB图像的光效分解结果如下:
其中I为输入图像,G=φG(I)为光效层,L=φL(I)为阴影层,R=φR(I)为反射层,表示逐元素相乘,本发明利用光效分解的目标是去除光效层G,获得不受光效影响的背景层/>从而达到去除强光效的效果,基于背景层J进行弱光增强,减小强光效的干扰。
在一个实施例中,在步骤四中,层分解网络使用了一系列的无监督损失,在训练的初始阶段,G和L使用Gi和Li进行监督,直接做L1损失:
Linit=|G-Gi|1+|L-Li|1
其中Gi是对输入图像做二阶拉普拉斯滤波生成的光滑图,Li是对输入图像各个位置的三个通道取最大值生成的灰度图,G的梯度图具有短尾分布,即G图平滑,梯度较小,且几乎不存在大的梯度,而J的梯度图具有长尾分布,通过借助此特性,使用了一个称为Gradient Exclusion Loss的损失,使得在梯度空间中尽可能远地分离G和J两个层,Gradient Exclusion Loss损失定义如下:
其中,G↓n和J↓n表示双线性插值下采样后的G和J,参数和/>是归一化因子,||·||F为弗罗贝尼乌斯范数,弗罗贝尼乌斯范数是一种矩阵范数,定义如下:
其中,A*表示A的共轭转置,σi是A的奇异值;为了尽量减少分解输出中的颜色偏移,使背景图像J中三个颜色通道的强度值范围达到平衡,设定色彩恒常性损失:
其中,(c1,c2)∈{(r,g),(r,b),(g,b)}表示两个颜色通道的组合;对于分解任务,还要求预测的三个图层组合还能复原出原始的输入图像,即设置重建损失:
每个无监督损失乘以各自的权重,其中λinit和λexcl设置为1,λrecon设置为0.1,λcc设置为0.5。
在一个实施例中,在步骤五中,弱光增强受噪声干扰,会丢失噪声周围的局部信息,导致图像模糊,本发明提出基于核选择模块的Zero-DCE弱光增强网络,将弱光图像作为输入,利用DCE-SKNet学习曲线参数图,然后通过亮度增强曲线对弱光图像进行像素级调整,经过多次迭代获得增强后的图像;
亮度增强曲线的公式为:
LEn(x)=LEn-1(x)+An(x)LEn-1(x)(1-LEn-1(x))
其中,x表示图像像素坐标,n表示迭代次数,An表示曲线参数图,与输入图像大小相等,经过上式,输入图像的每个像素都被赋予一条最优的高阶曲线,使其能动态调整亮度。为了减小参数量和计算量,将DCE-Net中的普通卷积替换为深度可分离卷积,深度卷积块先对每个通道单独进行卷积,提取单通道的信息,再通过1×1的逐点卷积块对输入特征图的通道进行扩展或压缩,得到预期大小的特征图,相比标准卷积核,深度可分离卷积核可以在网络精度几乎不降的情况下,大幅降低网络的参数量;
充分利用空间特征,使用不同尺度的感受野进行多尺度融合,可以减少噪声干扰;在多尺度特征融合方面,现有的大多数方法都是基于特征金字塔结构,以元素相加或串联的方式组合特征,虽然可结合不同尺度的特征图,却忽略了不同尺度特征的空间和通道特异性,在DCE-Net的第七个卷积层后,加入的三分支核选择模块,自适应地调整感受野大小,动态选择合适的路径,减小噪声对弱光增强的影响;
针对输入特征图U,分别使用3×3,5×5,7×7的卷积核进行处理得到U′、U″和U″′,其中5×5的卷积核是由两个3×3的空洞卷积组成,然后将三者相加得到以整合所有分支的信息。将/>通过全局平均池化嵌入全局信息s,
H和W分别为特征图的高和宽,s再通过全连接层产生一个紧凑的特征图z∈Rd×C:
z=Ffc(s)=δ(B(Ws))
其中,δ表示ReLU激活函数,B表示批规范化处理,W∈Rd×C,d值由压缩比r来控制:
其中,L为d的最小值,一般取L=32;
为了得到不同空间尺度的权重,从而获取不同感受野的加权融合信息,对向量z通道方向上进行softmax操作得到:
其中,A,B,C∈RC×d,Ac∈R1×d表示A的第c行,αc为α的第c个元素,α为U′的权重向量,最后将不同大小卷积核处理的特征图与其相应的权重向量相乘,得到最终的输出特征图:
其中,V=[V1,V2,…,Vc],Vc∈RH×W;
为了使网络在零参考信息的情况下完成训练,采用一系列非参考损失,包括空间一致性损失、曝光控制损失、彩色恒常损失和亮度平滑损。
空间一致性损失:
为了确保图像增强前后某像素的值和其相邻像素的值的差不发生过大的改变,因此,设置下述误差:
其中,K为局部区域的数量,Ω(i)是以区域i为中心的4个相邻域(上、下、左、右);I和Y分别为输入弱光图像和增强后图像中局部区域的平均强度值,本发明将局部区域大小设置为4×4;
曝光控制损失:
曝光控制损失表示平均强度值与理想曝光值E之间的距离,使图像增强后具有良好的曝光值,公式如下:
其中,Y为增强图像中局部区域的平均强度值,E表示理想状态下RGB颜色空间的灰度级,设置为0.6,M表示16×16的不重叠区域的数量;
色彩恒常性损失:
根据灰色世界色彩恒常性假设,即将每个传感器通道的颜色平均到整个图像,通过色彩恒常性损失来修正增强图像中潜在的颜色偏差,并在RGB三通道间建立调整关系,保证图像在增强后RGB三通道的平均值尽可能接近,公式如下:
其中,Jp和Jq分别表示通道p和q的平均强度值,(p,q)表示属于ε的一组通道;
光照平滑损失:
在每个曲线参数映射中添加光照平滑损失以保持相邻像素之间的单调关系,即让相邻像素之间的亮度改变不是那么显著,公式如下:
其中,N表示迭代次数,表示各通道的曲线参数图,/>表示图像水平梯度,/>表示图像垂直梯度,ξ表示RGB颜色三通道;
核选择模块的Zero-DCE弱光增强网络的总损失为上述四个损失的加权和:
Ltotal=W1Lspa+W2Lexp+W3Lcol+W4LtvA
其中,W1,W2,W3,W4为四个损失的权重值,分别为1,10,5,1600。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.基于强光抑制的电力作业现场弱光图像增强方法,其特征在于,包括以下步骤:
步骤一:基于滑动窗口对强光进行判断;
步骤二:基于层分解网络的光效分解和基于核选择模块的Zero-DCE弱光增强;
步骤三:针对输入的弱光RGB图像,进行灰度变换后使用滑动窗口搜索图片并判断强光区域;
步骤四:利用层分解网络进行强光图像的光效分解,并获取去除光效层后的背景层;
步骤五:对背景层图片基于核选择模块的Zero-DCE网络实现弱光增强。
2.根据权利要求1所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤一中,首先将输入的弱光RGB图像变换为灰度图,然后以灰度图像素宽的1/15作为正方形滑动窗口的边长a,从左上角开始依次以a为步长进行滑动;
灰度子图中每个像素点的灰度值为x(i,j)(0≤i<a,0≤j<a),x的范围是0-255。通过公示计算大量强光子图灰度平均值,计算公式为:
最后计算每个灰度子图与强光阈值θ的偏差的平均值AVG和平均偏差A.D.,进一步计算亮度参数S,当S>1,AVG>0时,判定图像中存在强光。
3.根据权利要求2所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤一中,灰度图像与强光阈值θ的偏差的平均值的计算公式为:
灰度图像与强光阈值θ的平均偏差的计算公式为:
其中a为滑动窗口的边长,H[i]代表灰度级为i的像素在灰度图中的数量。亮度参数S的计算公式为:
4.根据权利要求1所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤二中,将判断为存在强光的RGB图像输入层分解网络,通过φG,φL和φR三个独立网络和无监督损失将其分解为光效层、阴影层和反射层,得到RGB图像的光效分解结果如下:
其中I为输入图像,G=φG(I)为光效层,L=φL(I)为阴影层,R=φR(I)为反射层,表示逐元素相乘。
5.根据权利要求1所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤四中,层分解网络使用了一系列的无监督损失,在训练的初始阶段,G和L使用Gi和Li进行监督,直接做L1损失:
Linit=|G-Gi|1+|L-Li|1
其中Gi是对输入图像做二阶拉普拉斯滤波生成的光滑图,Li是对输入图像各个位置的三个通道取最大值生成的灰度图。
6.根据权利要求5所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤四中,G的梯度图具有短尾分布,即G图平滑,梯度较小,且几乎不存在大的梯度,而J的梯度图具有长尾分布,通过借助此特性,使用了一个称为Gradient Exclusion Loss的损失,使得在梯度空间中尽可能远地分离G和J两个层,Gradient Exclusion Loss损失定义如下:
其中,G↓n和J↓n表示双线性插值下采样后的G和J,参数和/>是归一化因子,||·||F为弗罗贝尼乌斯范数。
7.根据权利要求6所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤四中,弗罗贝尼乌斯范数是一种矩阵范数,定义如下:
其中,A*表示A的共轭转置,σi是A的奇异值;为了尽量减少分解输出中的颜色偏移,使背景图像J中三个颜色通道的强度值范围达到平衡,设定色彩恒常性损失:
其中,(c1,c2)∈{(r,g),(r,b),(g,b)}表示两个颜色通道的组合;对于分解任务,还要求预测的三个图层组合还能复原出原始的输入图像,即设置重建损失:
每个无监督损失乘以各自的权重。
8.根据权利要求1所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤五中,将弱光图像作为输入,利用DCE-SKNet学习曲线参数图,然后通过亮度增强曲线对弱光图像进行像素级调整,经过多次迭代获得增强后的图像;
亮度增强曲线的公式为:
LEn(x)=LEn-1(x)+An(x)LEn-1(x)(1-LEn-1(x))
其中,x表示图像像素坐标,n表示迭代次数,An表示曲线参数图,与输入图像大小相等。
9.根据权利要求8所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤五中,为了减小参数量和计算量,将DCE-Net中的普通卷积替换为深度可分离卷积,深度卷积块先对每个通道单独进行卷积,提取单通道的信息,再通过1×1的逐点卷积块对输入特征图的通道进行扩展或压缩,得到预期大小的特征图;
充分利用空间特征,使用不同尺度的感受野进行多尺度融合,可以减少噪声干扰;在DCE-Net的第七个卷积层后,加入的三分支核选择模块,自适应地调整感受野大小,动态选择合适的路径,减小噪声对弱光增强的影响;
针对输入特征图U,分别使用3×3,5×5,7×7的卷积核进行处理得到U′、U″和U″′,其中5×5的卷积核是由两个3×3的空洞卷积组成,然后将三者相加得到以整合所有分支的信息。将/>通过全局平均池化嵌入全局信息s,
H和W分别为特征图的高和宽,s再通过全连接层产生一个紧凑的特征图z∈Rd×C:
z=Ffc(s)=δ(B(Ws))
其中,δ表示ReLU激活函数,B表示批规范化处理,W∈Rd×C,d值由压缩比r来控制:
其中,L为d的最小值;
为了得到不同空间尺度的权重,从而获取不同感受野的加权融合信息,对向量z通道方向上进行softmax操作得到:
其中,A,B,C∈RC×d,Ac∈R1×d表示A的第c行,αc为α的第c个元素,α为U′的权重向量,最后将不同大小卷积核处理的特征图与其相应的权重向量相乘,得到最终的输出特征图:
其中,V=[V1,V2,…,Vc],Vc∈RH×W;
为了使网络在零参考信息的情况下完成训练,采用一系列非参考损失,包括空间一致性损失、曝光控制损失、彩色恒常损失和亮度平滑损。
10.根据权利要求9所述的基于强光抑制的电力作业现场弱光图像增强方法,其特征在于:在步骤五中,空间一致性损失:
为了确保图像增强前后某像素的值和其相邻像素的值的差不发生过大的改变,因此,设置下述误差:
其中,K为局部区域的数量,Ω(i)是以区域i为中心的4个相邻域(上、下、左、右);I和Y分别为输入弱光图像和增强后图像中局部区域的平均强度值;
曝光控制损失:
曝光控制损失表示平均强度值与理想曝光值E之间的距离,使图像增强后具有良好的曝光值,公式如下:
其中,Y为增强图像中局部区域的平均强度值,E表示理想状态下RGB颜色空间的灰度级,设置为0.6,M表示16×16的不重叠区域的数量;
色彩恒常性损失:
根据灰色世界色彩恒常性假设,即将每个传感器通道的颜色平均到整个图像,通过色彩恒常性损失来修正增强图像中潜在的颜色偏差,并在RGB三通道间建立调整关系,保证图像在增强后RGB三通道的平均值尽可能接近,公式如下:
其中,Jp和Jq分别表示通道p和q的平均强度值,(p,q)表示属于ε的一组通道;
光照平滑损失:
在每个曲线参数映射中添加光照平滑损失以保持相邻像素之间的单调关系,即让相邻像素之间的亮度改变不是那么显著,公式如下:
其中,N表示迭代次数,表示各通道的曲线参数图,/>表示图像水平梯度,/>表示图像垂直梯度,ξ表示RGB颜色三通道;
核选择模块的Zero-DCE弱光增强网络的总损失为上述四个损失的加权和:
Ltotal=W1Lspa+W2Lexp+W3Lcol+W4LtvA
其中,W1,W2,W3,W4为四个损失的权重值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311127202.8A CN117115033A (zh) | 2023-09-01 | 2023-09-01 | 基于强光抑制的电力作业现场弱光图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311127202.8A CN117115033A (zh) | 2023-09-01 | 2023-09-01 | 基于强光抑制的电力作业现场弱光图像增强方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117115033A true CN117115033A (zh) | 2023-11-24 |
Family
ID=88810786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311127202.8A Pending CN117115033A (zh) | 2023-09-01 | 2023-09-01 | 基于强光抑制的电力作业现场弱光图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117115033A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710275A (zh) * | 2024-02-06 | 2024-03-15 | 江苏无右微创医疗科技有限公司 | 一种图像低亮区域改善方法及系统 |
CN117935186A (zh) * | 2024-03-25 | 2024-04-26 | 福建省高速公路科技创新研究院有限公司 | 一种强光抑制的隧道内危险品车辆识别方法 |
-
2023
- 2023-09-01 CN CN202311127202.8A patent/CN117115033A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710275A (zh) * | 2024-02-06 | 2024-03-15 | 江苏无右微创医疗科技有限公司 | 一种图像低亮区域改善方法及系统 |
CN117710275B (zh) * | 2024-02-06 | 2024-04-30 | 江苏无右微创医疗科技有限公司 | 一种图像低亮区域改善方法及系统 |
CN117935186A (zh) * | 2024-03-25 | 2024-04-26 | 福建省高速公路科技创新研究院有限公司 | 一种强光抑制的隧道内危险品车辆识别方法 |
CN117935186B (zh) * | 2024-03-25 | 2024-06-14 | 福建省高速公路科技创新研究院有限公司 | 一种强光抑制的隧道内危险品车辆识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Adaptive image enhancement method for correcting low-illumination images | |
CN111741211B (zh) | 图像显示方法和设备 | |
CN117115033A (zh) | 基于强光抑制的电力作业现场弱光图像增强方法 | |
CN111292257B (zh) | 一种基于Retinex的暗视觉环境下图像增强方法 | |
CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
CN112419181A (zh) | 一种宽动态红外图像细节增强方法 | |
CN115731146B (zh) | 基于色彩梯度直方图特征光流估计多曝光图像融合方法 | |
CN113313702A (zh) | 基于边界约束与颜色校正的航拍图像去雾方法 | |
CN115689960A (zh) | 一种夜间场景下照度自适应的红外与可见光图像融合方法 | |
Parihar et al. | A comprehensive analysis of fusion-based image enhancement techniques | |
CN115984535A (zh) | 一种用于钻井作业现场的低照度图像判断以及图像增强方法 | |
CN116188339A (zh) | 一种基于Retinex及图像融合的暗视觉图像增强方法 | |
CN111311503A (zh) | 一种夜晚低亮度图像增强系统 | |
CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
Zhao et al. | Color channel fusion network for low-light image enhancement | |
Ponomaryov et al. | Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise | |
Singh et al. | Multiscale reflection component based weakly illuminated nighttime image enhancement | |
CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
CN115760630A (zh) | 一种低照度图像增强方法 | |
Huang et al. | An end-to-end dehazing network with transitional convolution layer | |
CN115713473A (zh) | 基于上下文信息聚合和融合特征注意力的图像去雾方法 | |
CN116263942A (zh) | 一种调整图像对比度的方法、存储介质及计算机程序产品 | |
CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
RU2360287C1 (ru) | Способ адаптивной пространственно-временной анизотропной билатеральной фильтрации видеосигналов |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |