CN112287779B - 一种低光照度图像自然光照度补强方法及应用 - Google Patents
一种低光照度图像自然光照度补强方法及应用 Download PDFInfo
- Publication number
- CN112287779B CN112287779B CN202011115429.7A CN202011115429A CN112287779B CN 112287779 B CN112287779 B CN 112287779B CN 202011115429 A CN202011115429 A CN 202011115429A CN 112287779 B CN112287779 B CN 112287779B
- Authority
- CN
- China
- Prior art keywords
- image
- illuminance
- low
- mapping
- translation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000003014 reinforcing effect Effects 0.000 title claims abstract description 17
- 238000013519 translation Methods 0.000 claims abstract description 76
- 238000013507 mapping Methods 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000007246 mechanism Effects 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 5
- 238000005286 illumination Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000002787 reinforcement Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 30
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010831 paired-sample T-test Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 206010049155 Visual brightness Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种低光照度图像自然光照度补强方法及应用，该方法步骤包括：构建非配对数据集，构建图像翻译模型，根据CycleGAN的环形模型搭建图像翻译模型的结构；在图像翻译模型中加入实例正则化、注意力机制模块和语义一致性损失函数；基于非配对数据集训练图像翻译模型的高光照度和低光照度图像的映射，并进行高光照度循环和低光照度循环；训练生成对抗网络；分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离；将低光照度的图像数据集输入生成对抗网络中，生成器输出高光照的转换图像。本发明实现了对夜间低光照度图像自然光照度强度补强，并在光照度增强的同时保证了翻译前后图像语义的一致性。
Description
技术领域
本发明涉及计算机图像处理以及物联网视频应用技术领域，具体涉及一种低光照度图像自然光照度补强方法及应用。
背景技术
使用GAN模型的图像翻译起始于Phillips Isola提出的基于CGAN的有监督图像转换模型Pix2Pix，“有监督”表示使用端到端架构的Pix2Pix模型在训练时需要使用成对的数据集，既一个子数据集中的图像在另一个子集中都有一个特定图像与之对应，它们之间将通过神经网络来建立一个特定的映射关系。在实际应用中输入是原始图像x，输出是转换后的目标图像T(x)。原始图像和翻译后的目标图像将作为训练资源来对鉴别器与生成器进行交替训练，如需使用有监督学习的图像翻译模型进行物联网低光照度图像的自然光补强，则需要对同一场景、同一视角的条件下获取低光照度和充足光照度两张图像放入2个子数据集中训练映射，然后在实际的光照度补强应用中，将通过把低光照度图像作为输入，输入到补强映射中，然后得到一个增强后的图像。
首先，现有的训练光照度补强的有监督学习图像翻译模型所需的数据集较少，且收录的场景有限。有监督图像翻译模型中的最大问题是在特定的应用中(如城市物联网)的成对数据集由于时间成本和人力成本的限制难以获取，同一场景的两种光照强度的图像采集往往需要间隔多个小时，而且对拍摄当天的光照强度也有要求，所以收集类似的数据集，对于任何组织和个人都是相当困难的。而且目前缺少针对城市的物联网光照度补强场景数据集。
其次，图像高级语义在图像翻译前后有一定几率出现偏差，在光照度补强应用的图像翻译模型中，需要保证翻译前后两张图像高级语义的一致性，而现有图像翻译模型如CycleGAN中缺少针对编码器输出结果的语义一致性保证策略。
再者，需重点突出的图像区域经常出现特征变化较小或特征无变化现象，在图像翻译过程中，需要把更多的计算资源向图像中重要的区域集中，现有图像翻译模型如CycleGAN中缺少突出重点区域的策略。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种低光照度图像自然光照度补强方法，主要解决城市物联网摄像头中所采集到的低光照度图像中景物较难辨别，以及低光照度图像不利于人眼观察和计算机目标识别算法准确性下降的技术问题。
本发明的第二目的在于提供一种低光照度图像自然光照度补强系统；
本发明的第三目的在于提供一种存储介质。
为了达到上述目的，本发明采用以下技术方案：
一种低光照度图像自然光照度补强方法，包括下述步骤：
构建非配对数据集，包括高光照度图像数据集X和低光照度图像数据集Y；
构建图像翻译模型，根据CycleGAN的环形模型搭建图像翻译模型的结构；
在图像翻译模型中加入实例正则化；
在图像翻译模型中加入注意力机制模块；
在图像翻译模型中加入语义一致性损失函数；
基于非配对数据集训练图像翻译模型的两个映射，表示为映射A和映射B，并进行高光照度循环和低光照度循环，所述映射A用于将高光照度图像转换为低光照度图像，所述映射B用于将低光照度图像转换为高光照度图像；
训练生成对抗网络，分别训练生成对抗网络中的高光照度图像鉴别器和低光照度图像鉴别器，所述高光照度图像鉴别器用于识别通过映射B生成的高光照度图像与高光照度图像数据集X中实际高照明图像之间的区别，所述低光照度图像鉴别器用于区分通过映射A生成的低光照度图像与低光照度图像数据集Y中实际低照明图像之间的区别；
分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离；
将低光照度的图像数据集输入生成对抗网络中，生成器输出高光照的转换图像。
作为优选的技术方案，所述构建非配对数据集，具体步骤包括：
采用手机拍摄图片、网络图片、高中低三种高度的无人机航拍图片的高光照度的近景，中景和全景图像作为高光照度的图像数据集X，采用手机拍摄图片、网络图片、高中低三种高度的无人机航拍图片的低光照度的近景，中景和全景图像作为低光照度的图像数据集Y。
作为优选的技术方案，所述低光照度的图像数据集采集时将曝光时间设置为0s到2s。
作为优选的技术方案，所述在图像翻译模型中加入实例正则化，具体计算公式为：
其中，x表示样本图像，n是样本数，c表示通道，h是高度，w是权重，μnc是一个通道中x的均值，σnc(x)2是特定点的方差，∈是为增加训练稳定性而添加的常数，ynchw是正则化结果。
作为优选的技术方案，在图像翻译模型中加入注意力机制模块，具体计算公式为：
θ(xi)＝Wθxi
将非局部神经网络表示为：
zi＝Wzyi+xi
其中，i表示是即将被计算的响应的所在位置索引，而j是枚举所有可能位置的索引，x是输入图像，y是与x尺寸相同的输出图像，函数f计算i与所有j之间的位置的亲疏关系，一元函数g用于表示位置j处的输入信号，响应通过因子C(x)进行归一化，Wθ和
是要学习的权重矩阵。
作为优选的技术方案，所述分别训练生成对抗网络中的高光照度图像鉴别器和低光照度图像鉴别器，所述高光照度图像鉴别器和低光照度图像鉴别器采用对抗损失函数进行训练，表示为：
其中，Mones表示32x32x1矩阵，矩阵中的每个值为1，Mzeros表示32x32x1矩阵，矩阵中的每个值为0，DA表示高光照度图像鉴别器，DB表示低光照度图像鉴别器，A(x)表示映射A生成的低光照度图像，B(y)表示映射B生成的高光照度图像。
作为优选的技术方案，所述分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离，具体计算公式表示为：
Losscyc(A，B)＝Losscycx(X，B(A(x)))+Losscycy(Y，A(B(y)))
其中，DA表示高光照度图像鉴别器，DB表示低光照度图像鉴别器，A(x)表示映射A生成的低光照度图像，B(y)表示映射B生成的高光照度图像，Losscyc(A，B)表示整体的循环一致性函数。
作为优选的技术方案，所述在图像翻译模型中加入语义一致性损失函数，具体计算公式为：
Lossc(A，B)＝Losscx(X，B(A(x)))+Losscy(Y，A(B(y)))
其中，DA表示高光照度图像鉴别器，DB表示低光照度图像鉴别器，A(x)表示映射A生成的低光照度图像，B(y)表示映射B生成的高光照度图像，Lossc(A，B)表示整体的语义一致性函数。
为了到达上述第二目的，本发明采用以下技术方案：
一种低光照度图像自然光照度补强系统，包括：非配对数据集构建模块、图像翻译模型构建模块、实例正则化构建模块、注意力机制模块构建模块、语义一致性损失函数构建模块、图像翻译模型映射训练模块、生成对抗网络训练模块、图像距离计算模块和输出模块；
所述非配对数据集构建模块用于构建非配对数据集，包括高光照度图像数据集X和低光照度图像数据集Y；
所述图像翻译模型构建模块用于构建图像翻译模型，根据CycleGAN的环形模型搭建图像翻译模型的结构；
所述实例正则化构建模块用于在图像翻译模型中加入实例正则化；
所述注意力机制模块构建模块用于在图像翻译模型中加入注意力机制模块；
所述语义一致性损失函数构建模块用于在图像翻译模型中加入语义一致性损失函数；
所述图像翻译模型映射训练模块用于基于非配对数据集训练图像翻译模型的两个映射，表示为映射A和映射B，并进行高光照度循环和低光照度循环，所述映射A用于将高光照度图像转换为低光照度图像，所述映射B用于将低光照度图像转换为高光照度图像；
所述生成对抗网络训练模块用于训练生成对抗网络，分别训练生成对抗网络中的高光照度图像鉴别器和低光照度图像鉴别器，所述高光照度图像鉴别器用于识别通过映射B生成的高光照度图像与高光照度图像数据集X中实际高照明图像之间的区别，所述低光照度图像鉴别器用于区分通过映射A生成的低光照度图像与低光照度图像数据集Y中实际低照明图像之间的区别；
所述图像距离计算模块用于分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离；
所述输出模块用于将低光照度的图像数据集输入生成对抗网络中，生成器输出高光照的转换图像。
为了到达上述第三目的，本发明采用以下技术方案：
一种存储介质，存储有程序，所述程序被处理器执行时实现上述低光照度图像自然光照度补强方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用构建的特殊数据集进行网络模型的训练，该数据集采集的图像专门针对城市物联网场景，图像内容涵盖了绝大多数城市中的景物的低光照度与充足光照度的样子，而且数据集中涵盖了不同高度以及景深的图像，使用专用于城市物联网采集图像作为神经网络模型的训练资源，可以更好地适用于城市物理网的图像光照度补强应用中。
(2)本发明使用了无监督学习配套的非配对数据集，降低了数据采集的成本。
(3)本发明在CycleGAN的结构的基础上，加入了注意力机制模块，通过对比可知光线补强的人眼效果得到了提升。
(4)本发明在CycleGAN的原有的损失函数基础上，加入了语义一致性损失函数(semantic-consistency loss)，在补强光照度的同时，保证了图像翻译前后关键语义的一致性，同时也使得关键区域的特征被翻译得更加突出。
附图说明
图1为本发明注意力机制模块结构框架示意图；
图2(a)为本发明注意力机制中的原始图像示意图；
图2(b)为本发明增加注意力机制后的图像示意图；
图2(c)为本发明增加注意力机制前的图像示意图；
图3为本发明映射A和映射B及其循环示意图；
图4(a)为本发明LighterGAN光线补强后的图像示意图；
图4(b)为本发明原始的CycleGAN生成的图像示意图；
图4(c)为本发明LighterGAN模型中的原始图像示意图；
图4(d)为本发明经过低光照度循环之后生成的图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种低光照度图像自然光照度补强方法，该方法基于生成对抗网络以及图像翻译，通过图像翻译实现了针对城市物联网图像传感器所采集图像的夜间低光照度图像自然光照度强度补强，该图像翻译模型称为LighterGAN，在设计模型时，本实施例参考了CycleGAN，然后基于无监督学习和为城市物联网所应用收集的新的非配对数据集，改进并设计了图像翻译模型LighterGAN。
在本实施例中，生成对抗网络包括：生成器和判别器，能互相博弈学习并产生效果很好的输出；图像翻译表示将现有图像转换为另一张图像并附带特定的新特征；光照度表示被摄主体表面单位面积上的光通量，是衡量拍摄环境的一个重要指标，在图片中的强弱可表现在给人眼带来的视觉明暗程度。
本实施例的低光照度图像自然光照度补强方法具体步骤如下：
首先，通过两个子数据集(低光照度和充足光照度)训练了模型中的2个映射，让神经网络了解在足够自然光条件下各种城市风貌的模样；然后将低光照度图像输入到神经网络中，最后生成器可以在保持原始输入图像的高级语义的同时，输出具有足够光线的转换图像。
在本实施例中，LighterGAN模型使用了专为物联网图片自然光增强目的收集的非配对数据集，在以往的图像翻译模型中(如Pix2Pix)，研究者们普遍选择了配对数据集，既两个子数据集中的图片一一对应，然后以其中一个子数据集的图片为输入，另一个子数据集的图片为输出来训练一个神经网络作为两者之间的映射，而在本实施例中，使用了手机拍摄图片、网络图片、高中低三种高度的无人机航拍图片的光照度充足的2954张近景，中景和全景图像作为子数据集
同样方式获得的光照度不足的2162张图片作为子数据集
对于低光照度数据集，将曝光时间设置为0s到2s，以确保图像语义的可识别性，本实施例进行的唯一预处理是将图像尺寸调整为256*256。因为使用了基于GAN(Generative Adversarial Network)无监督学习模型，所以在两个子数据集中，本实施例没有做标记信息，照片中的对象囊括了普通城市的建筑、植物、街道、人、汽车、草地、水等等。
本实施例在LighterGAN模型中加入并使用了实例正则化(InstanceNormalization)，在图像变换中采用实例正则化方法，既能加快模型的收敛速度，又能保持图像实例之间的独立性，因此，正则化在鉴别器的2nd，3rd，4th层卷积中使用，在解码器的1st，2nd，3rd层卷积中使用。
公式如下：
其中，x表示样本图像，n是样本数，c表示通道，h是高度，w是权重，μnc是一个通道中x的均值，σnc(x)2是特定点的方差，∈是为增加训练稳定性而添加的常数，ynchw是正则化结果；
本实施例在LighterGAN中加入了注意力机制模块，旨在从图像中提取关键位置并将其翻译得更加突出，
使用的公式如下：
其中，i表示是即将被计算的响应的所在位置索引，而j是枚举所有可能位置的索引，x是输入图像，y是与x尺寸相同的输出图像，函数f计算i与所有j之间的位置的亲疏关系，一元函数g用于表示位置j处的输入信号，响应通过因子C(x)来进行归一化。xi表示索引为i的图像区域，xj表示索引为i的图像区域j的图像区域，yi旨的是xi对应的输出数据；
为了表示xi和xj之间的相似性，本实施例使用了嵌入高斯函数：
在该公式中，θ(xi)＝Wθxi和
Wθ和
是要学习的权重矩阵，本实施例使用非局部神经网络作为增强注意力机制的方法，可将非局部神经网络表示为：
zi＝Wzyi+xi
在此将权重矩阵Wz初始化为零，yi经过权重矩阵的处理之后再加上原本的输入xi的结果，即为经过注意力机制模块之后的输出。
如图1所示，在注意力机制模块中，输入和输出格式一致。首先，将特征图复制为f、g和h(其张量的形状如图1所示)3个副本，f和g将通道数减少到原始图的八分之一，以降低计算成本，然后f乘以g转置，后使用Softmax计算后生成注意力图，将注意力图乘以h，最后，将结果与原始的输入特征图相加以生成注意机制模块的输出，该输出的格式与输入的格式相同。
如图2(a)、图2(b)、图2(c)所示，得到原始的低光照度图像和增加注意力机制前后的对比图，可以看出在建筑物的边缘，没有注意力机制的图片是有边缘模糊的现象的，而在添加注意力机制之后的图像，没有模糊，建筑边缘清晰，而且光线补强的效果更好；
在本实施例中，为了寻找到两个子数据集之间的潜在联系，根据CycleGAN的环形模型设计了LighterGAN的结构；
映射A：充足光照度图像→低光照度图像；
映射B：低光照度图像→充足光照度图像；
充足光照度循环：
低光照度循环：
如图3所示，x来自充足光照度子数据集X，y来自低光照度子数据集Y，A(x)和B(y)是由映射A和映射B生成的转换后的低光照度/充足光照度图像，两者都将在训练充足光照度图像鉴别器DA和低光照度图像鉴别器DB中使用，判别器DA和DB使用对抗损失函数来进行训练，可表示为：
鉴别器DA的作用是识别通过映射B生成的充足光照度图像B(y)与子数据集X中的实际充足照明图像之间的区别，鉴别器DB用以区分映射A生成的低光照度图像A(x)与子数据集Y中的实际低光照度图像。
本实施例将数据分布表示为x～pdata(x)和y～pdata(y)，在神经网络的训练中，为了区分真实和翻译后的图像，希望鉴别器在识别真实的图像时结果接近无限接近1，在识别翻译的图像时结果无限接近0，因此，在损失函数中，计算鉴别器判别真实图像时的输出与32x32x1矩阵Mones(矩阵中的每个值为1)之间的L2距离，而为翻译后的图像计算与32x32x1矩阵Mzeros(矩阵中的每个值为0)之间的L2距离。鉴别器的总损失函数由2个函数相加获得，然后将A(x)和B(y)再分别用于映射B和映射A，将在此步骤中生成的图像描述为
和
它们将由解码器产生，将用来计算循环一致性损失函数(cycle-consistency loss)。
2个循环产生的图像分别为
和
它们将用来计算与两种真实图像之间的L1距离，在充足光照度循环中，算Losscycx(X，B(A(x)))，在低光照度循环中计算Losscycy(Y，A(B(y)))，随后整体的循环一致性函数将被表示为上述两者之和：
Losscyc(A，B)＝Losscycx(X，B(A(x)))+Losscycy(Y，A(B(y)))
LighterGAN在神经网络结构中加入了的语义一致性损失函数(semantic-consistenncy loss)，在LighterGAN模型中，希望实现语义翻译前后的一致性，这意味着翻译后的图像确保图像中的景物依然保持着它们在现实世界中原有的样子(例如，不希望一辆低光照度场景中的汽车经过光照度补强之后被翻译成了充足光照度场景下的一条船)。所以在LighterGAN中提出了语义一致性损失Lossc(A，B)。由于卷积神经网络(Convolutional Neural Network，CNN)具有提取图像语义的能力，该提取操作通过在编码器中使用CNN对图像进行下采样的方式来完成。因此，本实施例使用x和
的两种编码结果之间的L2距离得到Losscx(X，B(A(x)))，同理可得y和
之间的Losscy(Y，A(B(y)))，最后，整体的语义一致性函数可以表示为上述两者之和：
Lossc(A，B)＝Losscx(X，B(A(x)))+Losscy(Y，A(B(y)))
在生成器的训练中，LighterGAN还加入了损失函数Losscd(A，B)，以确定生成器生成的结果是否足够真实。为此，分别计算DB(A(x))和DA(B(y))与矩阵Mones的L2距离，这种损失可以描述如下：
最后，LighterGAN的整体损失函数
可以被表示为上述所有损失函数的总和：
如图4(a)、图4(b)、图4(c)和图4(d)所示，得到了最后的实现效果。
验证阶段：
本实施例使用了土耳其机器人的方式对本模型和CycleGAN的光线补强图像翻译效果进行了对比，随机选取的图片的比对结果显示，本实施例的模型均被更多人判断为更接近真实世界景物的样子，对比结果的显著性参数为0.237，大于显著性阈值0.05，所以符合正态分布，如下表1所示：
表1对比实验结果正态分布参数表
在本实施例中，也用配对样本t校验(paired sample t-test)的结果验证了本发明模型的优越性，t值为53.941，如下表2所示，该结果足以证明本实施例模型的光照度补强效果以及翻译后的图像真实程度超越了原有的CycleGAN模型。
表2配对样本t校验结果表
在本实施例中，通过图像翻译实现了针对城市物联网图像传感器所采集图像的夜间低光照度图像自然光照度强度补强，并通过使用语义一致性函数在光照度增强的同时保证了翻译前后图像语义的一致性。
实施例2
本实施例提供一种低光照度图像自然光照度补强系统，包括：非配对数据集构建模块、图像翻译模型构建模块、实例正则化构建模块、注意力机制模块构建模块、语义一致性损失函数构建模块、图像翻译模型映射训练模块、生成对抗网络训练模块、图像距离计算模块和输出模块；
在本实施例中，非配对数据集构建模块用于构建非配对数据集，包括高光照度图像数据集X和低光照度图像数据集Y；
在本实施例中，图像翻译模型构建模块用于构建图像翻译模型，根据CycleGAN的环形模型搭建图像翻译模型的结构；
在本实施例中，实例正则化构建模块用于在图像翻译模型中加入实例正则化；
在本实施例中，注意力机制模块构建模块用于在图像翻译模型中加入注意力机制模块；
在本实施例中，语义一致性损失函数构建模块用于在图像翻译模型中加入语义一致性损失函数；
在本实施例中，图像翻译模型映射训练模块用于基于非配对数据集训练图像翻译模型的两个映射，表示为映射A和映射B，并进行高光照度循环和低光照度循环，所述映射A用于将高光照度图像转换为低光照度图像，所述映射B用于将低光照度图像转换为高光照度图像；
在本实施例中，生成对抗网络训练模块用于训练生成对抗网络，分别训练生成对抗网络中的高光照度图像鉴别器和低光照度图像鉴别器，所述高光照度图像鉴别器用于识别通过映射B生成的高光照度图像与高光照度图像数据集X中实际高照明图像之间的区别，所述低光照度图像鉴别器用于区分通过映射A生成的低光照度图像与低光照度图像数据集Y中实际低照明图像之间的区别；
在本实施例中，图像距离计算模块用于分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离；
在本实施例中，输出模块用于将低光照度的图像数据集输入生成对抗网络中，生成器输出高光照的转换图像。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现上述实施例1的低光照度图像自然光照度补强方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种低光照度图像自然光照度补强方法，其特征在于，包括下述步骤：
构建非配对数据集，包括高光照度图像数据集X和低光照度图像数据集Y；
构建图像翻译模型，根据CycleGAN的环形模型搭建图像翻译模型的结构；
在图像翻译模型中加入实例正则化；
所述在图像翻译模型中加入实例正则化，具体计算公式为：
其中，x表示样本图像，n是样本数，c表示通道，h是高度，w是权重，μnc是一个通道中x的均值，σnc(x)2是特定点的方差，∈是为增加训练稳定性而添加的常数，ynchw是正则化结果；
在图像翻译模型中加入注意力机制模块；
在图像翻译模型中加入注意力机制模块，具体计算公式为：
θ(xi)＝Wθxi
将非局部神经网络表示为：
zi＝Wzyi+xi
其中，i表示是即将被计算的响应的所在位置索引，而j是枚举所有可能位置的索引，y是与x尺寸相同的输出图像，函数f计算i与所有j之间的位置的亲疏关系，一元函数g用于表示位置j处的输入信号，响应通过因子C(x)进行归一化，Wθ和
是要学习的权重矩阵；
在图像翻译模型中加入语义一致性损失函数；
所述在图像翻译模型中加入语义一致性损失函数，具体计算公式为：
Lossc(A，B)＝Losscx(X，B(A(x)))+Losscy(Y，A(B(y)))
其中，A(x)表示映射A生成的低光照度图像，B(y)表示映射B生成的高光照度图像，Lossc(A，B)表示整体的语义一致性函数；
基于非配对数据集训练图像翻译模型的两个映射，表示为映射A和映射B，并进行高光照度循环和低光照度循环，所述映射A用于将高光照度图像转换为低光照度图像，所述映射B用于将低光照度图像转换为高光照度图像；
训练生成对抗网络，分别训练生成对抗网络中的高光照度图像鉴别器和低光照度图像鉴别器，所述高光照度图像鉴别器用于识别通过映射B生成的高光照度图像与高光照度图像数据集X中实际高照明图像之间的区别，所述低光照度图像鉴别器用于区分通过映射A生成的低光照度图像与低光照度图像数据集Y中实际低照明图像之间的区别；
分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离；
将低光照度的图像数据集输入生成对抗网络中，生成器输出高光照的转换图像。
2.根据权利要求1所述的低光照度图像自然光照度补强方法，其特征在于，所述构建非配对数据集，具体步骤包括：
采用手机拍摄图片、网络图片、高中低三种高度的无人机航拍图片的高光照度的近景，中景和全景图像作为高光照度的图像数据集X，采用手机拍摄图片、网络图片、高中低三种高度的无人机航拍图片的低光照度的近景，中景和全景图像作为低光照度的图像数据集Y。
3.权利要求2所述的低光照度图像自然光照度补强方法，其特征在于，所述低光照度的图像数据集采集时将曝光时间设置为0s到2s。
4.根据权利要求1所述的低光照度图像自然光照度补强方法，其特征在于，所述分别训练生成对抗网络中的高光照度图像鉴别器和低光照度图像鉴别器，所述高光照度图像鉴别器和低光照度图像鉴别器采用对抗损失函数进行训练，表示为：
其中，Mones表示32x32x1矩阵，矩阵中的每个值为1，Mzeros表示32x32x1矩阵，矩阵中的每个值为0，DA表示高光照度图像鉴别器，DB表示低光照度图像鉴别器，A(x)表示映射A生成的低光照度图像，B(y)表示映射B生成的高光照度图像。
5.根据权利要求1所述的低光照度图像自然光照度补强方法，其特征在于，所述分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离，具体计算公式表示为：
Losscyc(A，B)＝Losscycx(X，B(A(x)))+Losscycy(Y，A(B(y)))
其中，A(x)表示映射A生成的低光照度图像，B(y)表示映射B生成的高光照度图像，Losscyc(A，B)表示整体的循环一致性函数。
6.一种低光照度图像自然光照度补强系统，其特征在于，包括：非配对数据集构建模块、图像翻译模型构建模块、实例正则化构建模块、注意力机制模块构建模块、语义一致性损失函数构建模块、图像翻译模型映射训练模块、生成对抗网络训练模块、图像距离计算模块和输出模块；
所述非配对数据集构建模块用于构建非配对数据集，包括高光照度图像数据集X和低光照度图像数据集Y；
所述图像翻译模型构建模块用于构建图像翻译模型，根据CycleGAN的环形模型搭建图像翻译模型的结构；
所述实例正则化构建模块用于在图像翻译模型中加入实例正则化；
所述在图像翻译模型中加入实例正则化，具体计算公式为：
其中，x表示样本图像，n是样本数，c表示通道，h是高度，w是权重，μnc是一个通道中x的均值，σnc(x)2是特定点的方差，∈是为增加训练稳定性而添加的常数，ynchw是正则化结果；
所述注意力机制模块构建模块用于在图像翻译模型中加入注意力机制模块；
在图像翻译模型中加入注意力机制模块，具体计算公式为：
θ(xi)＝Wθxi
将非局部神经网络表示为：
zi＝Wzyi+xi
其中，i表示是即将被计算的响应的所在位置索引，而j是枚举所有可能位置的索引，y是与x尺寸相同的输出图像，函数f计算i与所有j之间的位置的亲疏关系，一元函数g用于表示位置j处的输入信号，响应通过因子C(x)进行归一化，Wθ和
是要学习的权重矩阵；
所述语义一致性损失函数构建模块用于在图像翻译模型中加入语义一致性损失函数；
所述在图像翻译模型中加入语义一致性损失函数，具体计算公式为：
Lossc(A，B)＝Losscx(X，B(A(x)))+Losscy(Y，A(B(y)))
其中，A(x)表示映射A生成的低光照度图像，B(y)表示映射B生成的高光照度图像，Lossc(A，B)表示整体的语义一致性函数；
所述图像翻译模型映射训练模块用于基于非配对数据集训练图像翻译模型的两个映射，表示为映射A和映射B，并进行高光照度循环和低光照度循环，所述映射A用于将高光照度图像转换为低光照度图像，所述映射B用于将低光照度图像转换为高光照度图像；
所述生成对抗网络训练模块用于训练生成对抗网络，分别训练生成对抗网络中的高光照度图像鉴别器和低光照度图像鉴别器，所述高光照度图像鉴别器用于识别通过映射B生成的高光照度图像与高光照度图像数据集X中实际高照明图像之间的区别，所述低光照度图像鉴别器用于区分通过映射A生成的低光照度图像与低光照度图像数据集Y中实际低照明图像之间的区别；
所述图像距离计算模块用于分别计算高光照度循环和低光照度循环产生的图像与对应真实图像之间的距离；
所述输出模块用于将低光照度的图像数据集输入生成对抗网络中，生成器输出高光照的转换图像。
7.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5任一项所述的低光照度图像自然光照度补强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011115429.7A CN112287779B (zh) | 2020-10-19 | 2020-10-19 | 一种低光照度图像自然光照度补强方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011115429.7A CN112287779B (zh) | 2020-10-19 | 2020-10-19 | 一种低光照度图像自然光照度补强方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287779A CN112287779A (zh) | 2021-01-29 |
| CN112287779B true CN112287779B (zh) | 2022-03-25 |
Family
ID=74497796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011115429.7A Active CN112287779B (zh) | 2020-10-19 | 2020-10-19 | 一种低光照度图像自然光照度补强方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287779B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
| CN113112400B (zh) * | 2021-05-07 | 2024-04-09 | 深圳追一科技有限公司 | 一种模型训练方法及模型训练装置 |
| CN113409186A (zh) * | 2021-06-30 | 2021-09-17 | 上海科技大学 | 基于先验知识的单张图片重打光方法、系统、终端及存储介质 |
| CN113744169A (zh) * | 2021-09-07 | 2021-12-03 | 讯飞智元信息科技有限公司 | 图像增强方法、装置、电子设备和存储介质 |
| CN114027052A (zh) * | 2021-10-20 | 2022-02-11 | 华南农业大学 | 一种植物生殖发育的光照调控系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636754A (zh) * | 2018-12-11 | 2019-04-16 | 山西大学 | 基于生成对抗网络的极低照度图像增强方法 |
| CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| CN110852965A (zh) * | 2019-10-31 | 2020-02-28 | 湖北大学 | 一种基于生成对抗网络的视频光照增强方法及系统 |
| CN111292408A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于注意力机制的阴影生成方法 |
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及系统 |
-
2020
- 2020-10-19 CN CN202011115429.7A patent/CN112287779B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636754A (zh) * | 2018-12-11 | 2019-04-16 | 山西大学 | 基于生成对抗网络的极低照度图像增强方法 |
| CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| CN110852965A (zh) * | 2019-10-31 | 2020-02-28 | 湖北大学 | 一种基于生成对抗网络的视频光照增强方法及系统 |
| CN111292408A (zh) * | 2020-01-21 | 2020-06-16 | 武汉大学 | 一种基于注意力机制的阴影生成方法 |
| CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Retinex自适应反射分量估计和对数图像处理减法后处理的低照度图像增强;潘卫琼 等;《计算机科学》;20190831;第46卷(第8期);第327-331页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287779A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287779B (zh) | 一种低光照度图像自然光照度补强方法及应用 | |
| Wang et al. | SFNet-N: An improved SFNet algorithm for semantic segmentation of low-light autonomous driving road scenes | |
| CN112230772B (zh) | 一种虚实融合的教具自动生成方法 | |
| WO2021103137A1 (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
| CN112541501B (zh) | 一种基于视觉语言建模网络的场景文字识别方法 | |
| CN111161191B (zh) | 一种图像增强方法 | |
| CN111027559A (zh) | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 | |
| CN114936605A (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| CN113592007B (zh) | 一种基于知识蒸馏的不良图片识别系统、方法、计算机及存储介质 | |
| CN110334607B (zh) | 一种视频人体交互行为识别方法及系统 | |
| CN114330529A (zh) | 一种基于改进YOLOv4的遮挡行人实时检测方法 | |
| CN115294655A (zh) | 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备 | |
| CN114283352A (zh) | 一种视频语义分割装置、训练方法以及视频语义分割方法 | |
| CN115330620A (zh) | 一种基于循环生成对抗网络的图像去雾方法 | |
| CN115294483A (zh) | 输电线路复杂场景的小目标识别方法及系统 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN114694185A (zh) | 一种跨模态目标重识别方法、装置、设备及介质 | |
| CN117370498B (zh) | 一种3d开放词汇检测与密集字幕生成统一的建模方法 | |
| CN117726870A (zh) | 基于扩散模型的小样本目标检测模型增强学习方法和装置 | |
| CN117094895B (zh) | 图像全景拼接方法及其系统 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及系统 | |
| CN113627342B (zh) | 视频深度特征提取优化的方法、系统、设备及存储介质 | |
| Liu et al. | 3D action recognition using multi-temporal skeleton visualization | |
| CN114758285A (zh) | 基于锚自由和长时注意力感知的视频交互动作检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |