CN114596236A - 一种密闭腔体低照度图像增强方法及系统 - Google Patents
一种密闭腔体低照度图像增强方法及系统 Download PDFInfo
- Publication number
- CN114596236A CN114596236A CN202011404925.4A CN202011404925A CN114596236A CN 114596236 A CN114596236 A CN 114596236A CN 202011404925 A CN202011404925 A CN 202011404925A CN 114596236 A CN114596236 A CN 114596236A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- training
- images
- closed cavity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种密闭腔体低照度图像增强方法与系统，获取多组样本图像，对每组样本图像进行筛选，以质量最优图像为该组样本图像的模板图像，其余图像作为待增强图像，形成训练样本集；构建条件生成对抗网络，以模板图像为目标输出，采用多指标融合损失函数进行训练，再将模板图像作为真实目标，增强后图像作为虚假目标输入，进行训练；将密闭腔体内采集的图像输入训练后的条件生成对抗网络，得到图像增强后的图像。本发明实现低照度图像到高质量图像端到端的图像增强输出，有效提升了低照度图像的亮度与对比度。
Description
技术领域
本发明属于图像增强技术领域，涉及一种密闭腔体低照度图像增强方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在电力系统中，气体绝缘开关设备(GasInsulatedSwitchgear， GIS)是关键的变电设备之一，应用越来越广泛，在电力传输过程中有着至关重要的作用。GIS设备将各组成元件封闭组合，一般不受外界环境的干扰，噪声小，电磁波干扰弱，后期维护工作少。
但据发明人了解，GIS设备也有其固有的缺点：由于SF6气体的泄漏、外部水分的渗入、导电杂质的存在、绝缘子老化等因素影响，都可能导致GIS设备内部闪络故障产生一些粉末状异物；在GIS设备安装、检修过程中遗留在内部的工具、螺钉、螺母等异物；因环境条件差，安装检修时进入腔体内的沙粒或隔离开关、接地开关动静触头间的摩擦产生的金属屑等异物。上述异物如不及时维护清理势必会对 GIS设备再投运的安全可靠运行带来极大危害，严重影响电力生产。因此，需要对GIS设备进行及时的检测和清理。
然而，由于GIS腔体内部为密闭环境，在不进行照明的情况下，内部光线差，图像整体偏暗；若补光过强，则因腔体内壁清洁光滑反射效应容易造成采集的图像某些区域过于明亮。采集到的图像存在亮度过亮或过暗、色彩不饱和、细节模糊等问题，这些问题将直接影响到后续的计算机视觉任务，并不能很好的帮助巡检机器人执行后续操作。
发明内容
本发明为了解决上述问题，提出了一种密闭腔体低照度图像增强方法及系统，本发明针对密闭腔体环境，构建不同亮度条件下的图像样本集，选取最高质量图像作为图像增强的目标图像，通过构建分解网络与光照增强网络相结合的生成模型及基于轻量化孪生网络的判别模型，利用样本集训练构建了低照度图像条件生成对抗网络增强模型，实现了低照度图像到高质量图像端到端的映射，使处理后的图像拥有更好的视觉效果和图像质量，更有利于下一步利用采集图像进行设备状态及缺陷分析。
根据一些实施例，本发明采用如下技术方案：
第一方面，提出一种密闭腔体低照度图像增强方法，包括以下步骤：
获取多组样本图像，对每组样本图像进行筛选，以质量最优图像为该组样本图像的模板图像，其余图像作为待增强图像，形成训练样本集；
基于训练样本集，构建条件生成对抗网络，以模板图像为目标输出，采用多指标融合损失函数进行训练，再将模板图像作为真实目标，增强后图像作为虚假目标输入，利用训练样本集进行训练；
将密闭腔体内采集的图像输入训练后的条件生成对抗网络，得到图像增强后的图像。
作为可选择的实施方式，所述每组样本图像为密闭腔体内、相同位置、不同亮度及不同曝光时间条件下采集的多个图像。
作为可选择的实施方式，接收多人以相对评价方法对每组图像的打分结果，对打分结果进行平均计算，以平均分值最高的图像作为该组图像的模板图像。
作为可选择的实施方式，所述条件生成对抗网络包括生成模型，所述生成模型包括分解网络与增强网络，所述分解网络包括依次连接的特征提取层、特征融合层、特征细化层和特征输出层；所述增强网络包括依次连接的卷积编码层、卷积解码层、连接层和全卷积层。
作为可选择的实施方式，采用多指标融合损失函数进行网络的训练，包括对分解网络和增强网络的训练，其中：
所述分解网络的训练过程包括：将待增强图像与模板图像输入网络，经过分解网络后得到不同的光照图以及不同的反射图，基于所述光照图和反射图，计算训练损失函数，通过样本集训练得到分解网络各通道节点参数；
所述增强网络的训练过程包括：基于SIM损失函数与L1损失函数，构建加权融合损失函数，利用加权融合损失函数对增强网络进行单独训练。
作为可选择的实施方式，所述条件生成对抗网络还包括判别模型，所述判别模型为轻量化的孪生网络，孪生网络中两个分支网络共享权重，具体包括依次连接的多层卷积神经网络、相似判别层和Sigmoid 激活层。
作为可选择的实施方式，将模板图像作为真实目标，增强后图像作为虚假目标输入，进行训练的具体过程包括：对生成模型与判别模型综合训练，生成模型输入待增强图像，生成模型输出增强后的图像；对输入图像进行判别，并将判别结果反馈给生成模型，调整生成模型中的相关参数，再次进行训练，直至满足设定的训练结束条件，其中，训练损失函数为交叉熵损失函数。
第二方面，提供一种密闭腔体低照度图像增强系统，包括：
图像预处理模块，被配置为对获取的多组样本图像进行筛选，以每组中质量最优图像为该组样本图像的模板图像，其余图像作为待增强图像，形成训练样本集；
条件生成对抗网络构建及训练模块，被配置为构建条件生成对抗网络，以模板图像为目标输出，采用多指标融合损失函数进行训练，将模板图像作为真实目标，增强后图像作为虚假目标输入，进行训练；
图像增强模块，被配置为将密闭腔体内采集的图像输入训练后的条件生成对抗网络，得到图像增强后的图像。
第三方面，提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种密闭腔体低照度图像增强方法。
第四方面，提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种密闭腔体低照度图像增强方法。
与现有技术相比，本发明的有益效果为：
本发明创新性提出了一种密闭腔体低照度图像增强方法，构建了可视性增强的条件生成对抗网络模型，提出了轻量化孪生神经网络判断模型生成算法，实现低照度图像到高质量图像端到端的图像增强输出，有效提升了低照度图像的亮度与对比度。
本发明提出了一种条件生成对抗网络训练方法，构建生成模型与判别模型，利用训练损失函数单独训练分解网络，利用SSIM损失函数与L1损失函数加权得到的融合损失函数单独训练增强网络，利用交叉熵损失函数综合训练生成模型与判别模型，能够经过生成模型的分解网络分解成反射图与光照图，光照图经过亮度增强网络得到增强后的亮度图，增强后的亮度图与反射图融合得到最终系统输出增强图像，实现图像增强操作。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本实施例搭建的密闭腔体图像采集环境；
图2为本实施例涉及的条件生成对抗神经网络模型；
图3为本实施例的分解网络模型；
图4为本实施例的亮度增强网络模型；
图5为本实施例的孪生网络模型；
图6为本实施例的图像增强效果图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
一种密闭腔体低照度图像增强方法，包括以下步骤：
首先，可以搭建密闭腔体环境，如图1所示，安装亮度可调补光设备，调节腔体内部补光设备的亮度，在相同位置、不同亮度及相机不同曝光时间条件下采集图像，形成一组样本图像，共采集N组图像。
在本实施例中，搭建密闭腔体模拟环境，在腔体内部上方安装 LED补光灯，补光灯亮度调节包含5个档位：亮度分别为200，400， 700，1000，1500流明。图像采集时，腔体内保证摄像机在同一位置，补光设备设置分别设置无补光及5种不同补光档位，摄像机曝光时间分别设置为1/60秒、1/125秒，在上述不同条件下拍摄得到一组图像，一组图像包含12张图片，共采集得到N组图像，N≥1000。
当然，在其他实施例中，可以根据具体要求和情况，改变上述参数。
也可以在条件允许的情况下，直接利用现有的密闭腔体环境内进行采集。
其次，采用主观评价法对每组图像进行筛选，以质量最优图像为该组图像的模板图像，其余图像作为待增强图像，形成训练样本集。
在本实施例中，选择M人以相对评价方法每组图像的质量进行打分，即每组图像中选择质量最优的图像打10分，其余图像根据主观判断进行打分(打分范围为1～9分)，对M个人的评分结果进行平均计算，每组图像中以平均打分最高的图像作为该组图像的模板图像，其余图像作为待增强图像，形成下一步条件生成对抗网络的训练样本集。
当然，在其他实施例中，可以利用其他方式进行挑选，例如专家经验法等，在此不再赘述。
针对样本集中待增强图像，设计适用于低照度图像增强的条件生成对抗网络，网络总体分为生成模型与判别模型：生成模型由分解网络与增强网络构成，以模板图像为目标输出，采用多指标融合损失函数进行网络的训练；设计一种轻量化卷积神经网络作为判别模型，将模板图像作为真实目标，增强后图像作为虚假目标输入判别模型，进行整体生成对抗网络的训练。
具体的，(3-1)首先将待增强的图像输入生成模型的分解网络，分解网络的结构具体为：
网络第一层为特征提取层，包含4个不同尺寸卷积核的卷积层进行浅层特征提取，卷积核尺寸分别为3×3、5×5、7×7、9×9，卷积通道数分别为8、12、20、32，选择带泄露修正线性单元(Leaky ReLU)作为激活函数。特征提取层后面连接一个特征融合层，该网络层将不同尺度的特征进行串联式融合，形成一个多维特征。接着连接3个卷积层进行特征细化，3个卷积层的卷积核分别为7×7、5× 5、3×3，卷积通道数分别为32、32、64，选择Leaky ReLU作为激活函数。最后通过一个3×3的卷积核输出分解后图像，由于腔体内图像对颜色信息不敏感，因此该卷积层的卷积通道数量设置为2，选择Relu函数作为激活函数。最终网络输出2通道数据：一个通道输出记为反射图ImgR，另一个通道输出记为光照图ImgI。
该分解网络单独训练，同时将一张待增强图像与模板图像输入网络，分别记为ImgE和ImgM，经过分解网络后得到不同的光照图
和
不同的反射图
和
定义训练损失函数为：
通过样本集训练得到分解网络各通道节点参数。
(3-2)保持反射图ImgR不变，将光照图ImgI输入光照增强网络，输出增强后的光照图像Img’I，增强后的光照图Img’I与反射图 ImgR相乘生成增强图像，该图像即为生成模型最终的输出。其中光照增强网络的结构具体为：
网络前8层为卷积编码层，包括4个卷积层和4个池化层，卷积层中卷积核大小为3×3，卷积通道数量为32，选择带参数修正线性单元(ParametricReLU，PReLU)作为激活函数，每个卷积层后面连接一个2×2的池化层，步长为2，采用均值池化方法，实现图像的下采样操作。然后连接4层卷积解码层，实现反卷积操作，同样包括 2个卷积层和2个池化层，卷积核大小为3×3，卷积通道数量为32，激活函数同样采用PReLU，采用双线性插值法实现图像的上采样。卷积解码层后为连接(concatenate)层和全卷积层，concatenate层将卷积解码层的特征输出进行合并，全卷积层为单通道的3×3卷积核，最终输出为增强后光照图。
生成模型中光照增强网络单独训练，损失函数由SSIM损失函数与L2损失函数加权构成，损失函数Lossehance定义为：
LossSSIM＝1-SSIM(X,Y)
LossL2＝||Y-X||2
Lossehance＝λ1LossSSIM+λ2LossL2
在本实施例中，λ1＝0.3，λ2＝0.7，X表示增强网络输出的光照图， Y表示正常模板图像的光照图。
(3-3)判别模型的输入为模板图像与待增强图像经过生成模型后输出的图像，判别模型为轻量化的孪生网络，两个分支网络共享权重，孪生网络的结构具体设计为：
网络为5层的卷积神经网络，每个卷积层后面连接1个批归一化 (BatchNormalization，BN)层和一个PReLU层，每个卷积层的卷积核尺寸分别为5×5、5×5、3×3、3×3、3×3，卷积通道数分别为128，64，64，32，32。分支网络后面连接相似判别层，这里采用L1范数衡量两个分支输出特征的相似度。最后连接一个Sigmoid 激活层，输出判别结果0或1。
生成模型与判别模型综合训练，生成模型输入图像X2为待增强图像，生成模型输出增强后的图像记为X2’；判别模型输入图像对X1， X2’，其中X1为图像X2所在样本组的模板图像，当输入图像X2不是该组模板图像时，输出标签设置为0，否则输出标签设置为1，并将判别结果反馈给生成模型，进一步调整生成模型中的相关参数，训练损失函数选择交叉熵损失函数。
最后，将密闭腔体内新采集的或者实时采集的低照度图像输入训练好的的条件生成对抗网络的生成模型，经过生成模型的分解网络分解成反射图与光照图，光照图经过亮度增强网络得到增强后的亮度图，增强后的亮度图与反射图融合得到最终系统输出增强图像，实现图像增强操作。
实施例二
一种密闭腔体低照度图像增强系统，包括：
图像预处理模块，被配置为对获取的多组样本图像进行筛选，以每组中质量最优图像为该组样本图像的模板图像，其余图像作为待增强图像，形成训练样本集；
条件生成对抗网络构建及训练模块，被配置为构建条件生成对抗网络，以模板图像为目标输出，采用多指标融合损失函数进行训练，将模板图像作为真实目标，增强后图像作为虚假目标输入，进行训练；
图像增强模块，被配置为将密闭腔体内采集的图像输入训练后的条件生成对抗网络，得到图像增强后的图像。
实施例三
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种密闭腔体的低照度图像增强方法。
实施例四
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种密闭腔体的低照度图像增强方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种密闭腔体低照度图像增强方法，其特征是：包括以下步骤：
获取多组样本图像，对每组样本图像进行筛选，以质量最优图像为该组样本图像的模板图像，其余图像作为待增强图像，形成训练样本集；
基于训练样本集，构建条件生成对抗网络，以模板图像为目标输出，采用多指标融合损失函数进行训练，再将模板图像作为真实目标，增强后图像作为虚假目标输入，进行训练；
将密闭腔体内采集的图像输入训练后的条件生成对抗网络，得到图像增强后的图像。
2.如权利要求1所述的一种密闭腔体低照度图像增强方法，其特征是：所述每组样本图像为密闭腔体内、相同位置、不同亮度及不同曝光时间条件下采集的多个图像。
3.如权利要求1所述的一种密闭腔体低照度图像增强方法，其特征是：对每组样本图像进行筛选的具体过程包括：接收多人以相对评价方法对每组图像的打分结果，对打分结果进行平均计算，以平均分值最高的图像作为该组图像的模板图像。
4.如权利要求1所述的一种密闭腔体低照度图像增强方法，其特征是：所述条件生成对抗网络包括生成模型，所述生成模型包括分解网络与增强网络，所述分解网络包括依次连接的特征提取层、特征融合层、特征细化层和特征输出层；所述增强网络包括依次连接的卷积编码层、卷积解码层、连接层和全卷积层。
5.如权利要求1所述的一种密闭腔体低照度图像增强方法，其特征是：采用多指标融合损失函数进行网络的训练，包括对分解网络和增强网络的训练，其中：
所述分解网络的训练过程包括：将待增强图像与模板图像输入网络，经过分解网络后得到不同的光照图以及不同的反射图，基于所述光照图和反射图，计算训练损失函数，通过样本集训练得到分解网络各通道节点参数；
所述增强网络的训练过程包括：基于SIM损失函数与L1损失函数，构建加权融合损失函数，利用加权融合损失函数对增强网络进行单独训练。
6.如权利要求1所述的一种密闭腔体低照度图像增强方法，其特征是：所述条件生成对抗网络还包括判别模型，所述判别模型为轻量化的孪生网络，孪生网络中两个分支网络共享权重，具体包括依次连接的多层卷积神经网络、相似判别层和Sigmoid激活层。
7.如权利要求1所述的一种密闭腔体低照度图像增强方法，其特征是：将模板图像作为真实目标，增强后图像作为虚假目标输入，进行训练的具体过程包括：对生成模型与判别模型综合训练，生成模型输入待增强图像，生成模型输出增强后的图像；对输入图像进行判别，并将判别结果反馈给生成模型，调整生成模型中的相关参数，再次进行训练，直至满足设定的训练结束条件，其中，训练损失函数为交叉熵损失函数。
8.一种密闭腔体低照度图像增强系统，其特征是：包括：
图像预处理模块，被配置为对获取的多组样本图像进行筛选，以每组中质量最优图像为该组样本图像的模板图像，其余图像作为待增强图像，形成训练样本集；
条件生成对抗网络构建及训练模块，被配置为构建条件生成对抗网络，以模板图像为目标输出，采用多指标融合损失函数进行训练，将模板图像作为真实目标，增强后图像作为虚假目标输入，进行训练；
图像增强模块，被配置为将密闭腔体内采集的图像输入训练后的条件生成对抗网络，得到图像增强后的图像。
9.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种密闭腔体低照度图像增强方法。
10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种密闭腔体低照度图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011404925.4A CN114596236B (zh) | 2020-12-04 | 2020-12-04 | 一种密闭腔体低照度图像增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011404925.4A CN114596236B (zh) | 2020-12-04 | 2020-12-04 | 一种密闭腔体低照度图像增强方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114596236A true CN114596236A (zh) | 2022-06-07 |
| CN114596236B CN114596236B (zh) | 2024-09-10 |
Family
ID=81812325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011404925.4A Active CN114596236B (zh) | 2020-12-04 | 2020-12-04 | 一种密闭腔体低照度图像增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114596236B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237258A (zh) * | 2023-11-14 | 2023-12-15 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN109313710A (zh) * | 2018-02-02 | 2019-02-05 | 深圳蓝胖子机器人有限公司 | 目标识别模型训练方法、目标识别方法、设备及机器人 |
| CN109559360A (zh) * | 2018-09-29 | 2019-04-02 | 深圳先进技术研究院 | 一种pet图像重建方法、装置和计算设备 |
| CN110675336A (zh) * | 2019-08-29 | 2020-01-10 | 苏州千视通视觉科技股份有限公司 | 一种低照度图像增强方法及装置 |
| CN110781928A (zh) * | 2019-10-11 | 2020-02-11 | 西安工程大学 | 一种提取图像多分辨率特征的图像相似度学习方法 |
| CN111918095A (zh) * | 2020-08-05 | 2020-11-10 | 广州市百果园信息技术有限公司 | 一种暗光增强方法、装置、移动终端和存储介质 |
-
2020
- 2020-12-04 CN CN202011404925.4A patent/CN114596236B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019015466A1 (zh) * | 2017-07-17 | 2019-01-24 | 广州广电运通金融电子股份有限公司 | 人证核实的方法及装置 |
| CN109313710A (zh) * | 2018-02-02 | 2019-02-05 | 深圳蓝胖子机器人有限公司 | 目标识别模型训练方法、目标识别方法、设备及机器人 |
| CN109559360A (zh) * | 2018-09-29 | 2019-04-02 | 深圳先进技术研究院 | 一种pet图像重建方法、装置和计算设备 |
| CN110675336A (zh) * | 2019-08-29 | 2020-01-10 | 苏州千视通视觉科技股份有限公司 | 一种低照度图像增强方法及装置 |
| CN110781928A (zh) * | 2019-10-11 | 2020-02-11 | 西安工程大学 | 一种提取图像多分辨率特征的图像相似度学习方法 |
| CN111918095A (zh) * | 2020-08-05 | 2020-11-10 | 广州市百果园信息技术有限公司 | 一种暗光增强方法、装置、移动终端和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237258A (zh) * | 2023-11-14 | 2023-12-15 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
| CN117237258B (zh) * | 2023-11-14 | 2024-02-09 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114596236B (zh) | 2024-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN110889813A (zh) | 基于红外信息的低光图像增强方法 | |
| CN111626951B (zh) | 一种基于内容感知信息的图像阴影消除方法 | |
| CN109801232A (zh) | 一种基于深度学习的单幅图像去雾方法 | |
| CN110097106A (zh) | 基于深度学习的U-net网络的低照度成像算法及装置 | |
| CN112767279A (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
| CN102867295A (zh) | 一种彩色图像颜色校正方法 | |
| CN114004766A (zh) | 一种水下图像增强方法、系统和设备 | |
| CN114881869A (zh) | 一种巡检视频图像预处理方法 | |
| Pham et al. | Low-light image enhancement for autonomous driving systems using DriveRetinex-Net | |
| CN116433518A (zh) | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 | |
| CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
| CN114596236B (zh) | 一种密闭腔体低照度图像增强方法及系统 | |
| CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN117974459A (zh) | 一种融合物理模型和先验的低照度图像增强方法 | |
| CN109671044A (zh) | 一种基于可变图像分解的多曝光图像融合方法 | |
| CN116433822B (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
| Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
| CN112862766A (zh) | 一种基于图像数据扩充技术的绝缘子检测方法及系统 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 | |
| CN115565082A (zh) | 一种卫星遥感图像云噪声去除方法、系统和装置 | |
| CN114742907A (zh) | 图像增强方法、装置、电子设备和计算机可读存储介质 | |
| CN111681176A (zh) | 自适应卷积的残差修正单幅图像去雨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |