CN112348747A - 图像增强方法、装置及存储介质 - Google Patents
图像增强方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112348747A CN112348747A CN201910729554.8A CN201910729554A CN112348747A CN 112348747 A CN112348747 A CN 112348747A CN 201910729554 A CN201910729554 A CN 201910729554A CN 112348747 A CN112348747 A CN 112348747A
- Authority
- CN
- China
- Prior art keywords
- image
- image enhancement
- loss function
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 80
- 230000006870 function Effects 0.000 claims description 101
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 24
- 238000005286 illumination Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像增强方法、装置及存储介质，属于计算机技术领域，该方法包括：获取目标图像；获取预先训练的图像增强模型；图像增强模型基于自编码器和可扩展网络构成，且图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；重构损失函数用于训练图像增强模型对目标图像的色彩增强能力，结构化损失函数用于训练图像增强模型还原目标图像的结构信息的能力，纹理损失函数用于训练图像增强模型还原目标图像的图像细节的能力；将目标图像输入预先训练的图像增强模型，得到增强后的目标图像；可以解决现有的图像增强方法无法还原图像的色彩和图像细节的问题；提高图像增强效果。
Description
技术领域
本申请涉及一种图像增强方法、装置及存储介质，属于计算机技术领域。
背景技术
图像增强是指有目的地强调图像的整体或局部特性，将原本不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量的技术。比如：在黑暗的场景中，环境光不足以使相机准确地捕捉物体的细节与颜色信息，此时，可以通过图像增强技术使得相机拍摄到的夜间图像变得清晰。
以对黑暗场景中拍摄到的图像进行图像增强为例，常见的图像增强方法包括：直方图均衡化，该方法通过平衡整幅图片的颜色分布直方图进行亮度提升；或者，为伽马矫正(gamma correction)，该方法用于提升暗部区域的亮度并降低明亮区域的亮度。
然而，现有的图像增强方法只是将亮度较低的图像进行亮度增强，无法还原图像的色彩和图像细节，比如：图像纹理等。
发明内容
本申请提供了一种图像增强方法、装置及存储介质，可以解决现有的图像增强方法无法还原图像的色彩和图像细节的问题。本申请提供如下技术方案：
第一方面，提供了一种图像增强方法，所述方法包括：
获取目标图像；
获取预先训练的图像增强模型；所述图像增强模型基于自编码器和可扩展网络构成，且所述图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；所述重构损失函数用于训练所述图像增强模型对所述目标图像的色彩增强能力，所述结构化损失函数用于训练所述图像增强模型还原所述目标图像的结构信息的能力，所述纹理损失函数用于训练所述图像增强模型还原所述目标图像的图像细节的能力；
将所述目标图像输入预先训练的图像增强模型，得到增强后的目标图像。
可选地，所述获取预先训练的图像增强模型之前，还包括：
获取样本集，所述样本集包括至少一组样本数据，每组样本数据包括低质量图像和高质量图像；
获取待训练模型，所述待训练模型的网络结构与所述图像增强模型的网络结构相同，所述待训练模型的网络结构是在自编码器的基础上引入可扩展网络得到的；
将每组样本数据中的低质量图像输入所述待训练模型，得到训练结果；
将所述训练结果和对应样本数据中的高质量图像分别输入所述重构损失函数、所述结构化损失函数和所述纹理损失函数，并使用各个损失函数的值对所述待训练模型进行迭代训练，直至训练次数达到预设次数或者各个损失函数的值稳定在预设范围内时停止训练，得到所述图像增强模型。
可选地，所述低质量图像为快门速度小于第一快门阈值时，在不同光照条件和/或不同增益值的条件下对训练场景进行采集得到的图像信息；
所述高质量图像为快门速度大于或等于第二快门阈值时，在不同光照条件和/或不同增益值的条件下对训练场景进行采集得到的图像信息。
可选地，所述自编码器包括：编码器和解码器，所述编码器和所述解码器之间具有跨层连接；所述可扩展网络设置于所述编码器和所述解码器之间。
可选地，所述编码器包括多个第一子层，每个第一子层包括卷积层和非线性单元；
所述解码器包括多个第二子层和多个升采样层，每个第二子层包括卷积层和非线性单元；
所述编码器中的至少一个第一子层跨层连接至所述解码器中的第二子层，且不同第一子层跨层连接的第二子层不同。
可选地，所述可扩展网络为残差块，所述残差块包括卷积层和非线性单元，所述残差块内部具有跨层连接。
可选地，所述自编码器为U-Net网络或者SegNet网络。
第二方面，提供了一种图像增强装置，所述装置包括：
图像获取模块，用于获取目标图像；
模型获取模块，用于获取预先训练的图像增强模型；所述图像增强模型基于自编码器和可扩展网络构成，且所述图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；所述重构损失函数用于训练所述图像增强模型对所述目标图像的色彩增强能力，所述结构化损失函数用于训练所述图像增强模型还原所述目标图像的结构信息的能力，所述纹理损失函数用于训练所述图像增强模型还原所述目标图像的图像细节的能力；
图像增强模块，用于将所述目标图像输入预先训练的图像增强模型，得到增强后的目标图像。
第三方面，提供一种图像增强装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的图像增强方法。
第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的图像增强方法。
本申请的有益效果在于：通过获取目标图像；获取预先训练的图像增强模型；该图像增强模型基于自编码器和可扩展网络构成，且图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；将目标图像输入预先训练的图像增强模型，得到增强后的目标图像；可以解决现有的图像增强方法无法还原图像的色彩和图像细节的问题；由于重构损失函数可以训练图像增强模型对目标图像的色彩增强能力，结构化损失函数可以训练图像增强模型还原目标图像的结构信息的能力，纹理损失函数可以训练图像增强模型还原目标图像的图像细节的能力；因此，基于重构损失函数、结构化损失函数和纹理损失函数训练得到的图像增强模型可以增强目标图像的色彩、结构相似性以及图像纹理，可以提高图像增强效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的残差块的结构示意图；
图2是本申请一个实施例提供的U-Net网络的结构示意图；
图3是本申请一个实施例提供的SegNet网络的结构示意图；
图4是本申请一个实施例提供的图像增强方法的流程图；
图5是本申请一个实施例提供的图像增强模型的结构示意图；
图6是本申请另一个实施例提供的图像增强模型的结构示意图；
图7是本申请一个实施例提供的图像增强模型的训练方法的流程图；
图8是本申请一个实施例提供的图像增强模型的训练过程的示意图；
图9是本申请一个实施例提供的图像增强装置的框图；
图10是本申请一个实施例提供的图像增强装置的框图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
首先，对本申请涉及的若干名词进行介绍。
自编码器(Autoencoder，AE)，又称自编码，是一个3层或者大于3层的神经网络。自编码器至少包括两部分，分别为：编码器(encoder)和解码器(decoder)。
编码器用于将输入压缩成潜在空间表征，可以通过编码函数h＝f(x)表示。
解码器用于重构来自潜在空间表征的输入，可以通过解码函数r＝g(x)表示。
自编码器将输入表达X编码为一个新的表达Y，然后再将Y解码回X。这是一个非监督学习算法，使用反向传播算法来训练网络使得输出等于输入。当向网络中添加一些限制时，可以学习到关于输入表达X的结构。本申请中，自编码器中引入可扩展网络以增加自编码器的深度和宽度，从而控制新形成的网络模型的复杂度。
可扩展网络，是指深度和宽度可以根据需求设置，用于提升自编码器的网络复杂度的网络。可扩展网络的类型包括但不限于以下几种中的至少一种：残差块(residualblock)、倒置的残差块(inverted residual block)、密集卷积块(dense block)等。
残差块是指残差网络(Residual Networks，ResNets)中包括一个跨层连接(或称跳跃连接、捷径等)的多层网络。参考图1所示的残差块，该残差块包括卷积层和非线性单元构成的第一层网络101和卷积层构成的第二层网络102，其中，从a到b的连接为一个跨层连接。
残差网络用于在保证训练效果不退化的前提下训练更深的神经网络。
倒置的残差块是轻量化卷积神经网络MobileNetV2中的微结构。残差块是先降维、卷积、再升维；而倒置的残差块是先升维、卷积、再降维，这与残差块刚好相反。
密集卷积块是指密集卷积网络(DenseNet)中的微结构。密集卷积块中的每个层从前面所有层获得额外的输入。
可选地，自编码器的类型包括但不限于：U-Net网络、SegNet网络等具有编码器-解码器结构的神经网络。
参考图2所示的U-Net网络，U-net网络包括一个收缩路径(左边)和一个扩张路径(右边)组成。其中，收缩路径遵循典型的卷积网络结构，其由两个重复的3*3卷积核(无填充卷积，unpadded convolution)组成，且均使用修正线性单元(rectified linear unit，ReLU)激活函数和一个用于下采样(downsample)的步长为2的2*2最大池化操作，以及在每一个下采样的步骤中，特征通道数量都加倍。在扩张路径中，每一步都包含对特征图进行上采样(upsample)；然后用2*2的卷积核进行卷积运算(上卷积，up-convolution)，用于减少一半的特征通道数量；接着级联收缩路径中相应的裁剪后的特征图；再用两个3*3的卷积核进行卷积运算，且均使用ReLU激活函数。在最后一层，利用1*1的卷积核进行卷积运算，将每个64维的特征向量映射网络的输出层。U-Net网络有23个卷积层。
参考图3所示的SegNet网络，SegNet网络包括编码器网络以及解码器网络，编码器网络采用(Visual Geometry Group Network，VGG)结构，由VGG16的前13个卷积层构成，去掉全连接层。这样，一方面可以得到较高分辨率的特征图，另一方面可以使网络的参数数量大量减少(比如：从134M减少到14.7M)。与编码器网络对应解码器网络也具有13层，编码器网络的最后连接多类别的分类器进行像素的分类。
根据图2和图3可知，已有的自编码器的网络结构比较固定，本申请中通过在自编码器的基础上引入可扩展网络来改变自编码器的深度和宽度，得到图像增强模型。
下面对本申请提供的图像增强方法进行介绍，本申请以该方法应用于具有图像处理能力的电子设备中为例进行说明，该电子设备可以是终端；或者，也可以是服务器。其中，终端可以是计算机、手机、平板电脑、可穿戴式设备、视频会议终端、相机、摄像机等，本实施例不对终端的类型作限定。
图4是本申请一个实施例提供的图像增强方法的流程图。该方法至少包括以下几个步骤：
步骤401，获取目标图像。
目标图像是待进行图像增强的图像。示意性地，目标图像可以是在黑暗场景下拍摄得到的图像。目标图像的数量可以是一张，也可以是多张，本实施例不对目标图像的数量作限定。
步骤402，获取预先训练的图像增强模型；图像增强模型基于自编码器和可扩展网络构成，且图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到。
图像增强模型用于对目标图像进行图像增强处理。本实施例中，通过基于自编码器和可扩展网络构成图像增强模型，使得图像增强模型的网络深度和宽度可以根据需求设置，可以通过增加图像增强模型的网络深度来提高图像增强模型的网络性能。
可选地，自编码器包括：编码器和解码器，编码器和解码器之间具有跨层连接；可扩展网络设置于编码器和解码器之间。
设置在编码器和解码器之间的可扩展网络可以是一个，也可以是多个(比如：4个)，本实施例不对可扩展网络的数量作限定。
其中，编码器包括多个第一子层，每个第一子层包括卷积层和非线性单元；解码器包括多个第二子层和多个升采样层，每个第二子层包括卷积层和非线性单元；编码器中的至少一个第一子层跨层连接至解码器中的第二子层，且不同第一子层跨层连接的第二子层不同。
示意性地，由于残差块可以兼顾网络模型的计算速度和网络性能，因此，可扩展网络可以为残差块，残差块包括卷积层和非线性单元，残差块内部具有跨层连接。自编码器可以为U-Net网络。参考图5所示的在U-Net网络的基础上引入残差块的图像增强模型的结构示意图，残差网络设置在U-Net网络的编码器和解码器之间，编码器中的至少一个第一子层跨层连接至解码器中的第二子层，且不同第一子层跨层连接的第二子层不同。
当然，自编码器也可以为SegNet网络。参考图6所示的在SegNet网络的基础上引入残差块的图像增强模型的结构示意图，在该图像增强模型中使用矫正线性单元(leakeyRelu)代替原有的SegNet网络中的修正线性单元(Rectified Linear Unit，Relu)；去掉了原有的SegNet网络中的批量归一化(Batch Normalisation，BN)；降采样采用步长(stride)为2的卷积层代替原有的SegNet网络中的池化(pooling)；相应地，升采样采用双线性插值代替原有的SegNet网络中的升采样(upsampling)；在编码器网络以及解码器网络之间叠加4个残差块来增加图像增强模型的深度，以提升图像增强模型的性能。在编码器网络中存在两个第一子层跨层连接至解码器网络中的第二子层。
当然，可扩展网络也可以是倒置的残差块、密集卷积块等，本实施例不对可扩展网络的类型作限定。
重构损失函数用于训练图像增强模型对目标图像的色彩增强能力，以使增强后的目标图像中被拍摄对象的色彩更接近实际被拍摄对象的色彩。比如：目标图像中被拍摄对象包括红色车辆，基于重构损失函数训练得到的图像增强模型进行图像增强，可以使得图像增强后的目标图像中车辆的红色更接近车辆真实的红色。
重构损失函数通过下述公式(1)表示，式中
表示自编码器的输出，y表示学习目标，N表示当前输出包含的像素个数，yp代表学习目标中的第p个像素值。
代表自编码器输出的第p个像素值。
结构化损失函数用于训练图像增强模型还原目标图像的结构信息的能力，以使增强后的目标图像与期望图像之间的结构相似性更高。其中，期望图像是指亮度在预设范围内的拍摄条件下拍摄到的图像，该预设范围使得图像采集设备采集到的图像不失真。结构信息是指独立于图像的亮度、对比度的、用于反映场景中被拍摄对象结构属性的信息。
通常使用结构相似性来量化衡量目标图像的结构信息是否与期望图像的结构信息相似。其中，结构相似性(structural similarity index，SSIM)是一种衡量两幅图像相似度的指标。
结构化损失函数通过下述公式(2)和(3)表示，式中
表示自编码器的输出，y表示学习目标，
表示自编码器输出图像的像素均值，μy表示学习目标的像素均值，C1和C2是常数值，
是自编码器输出的像素方差，
是学习目标的像素方差，
是自编码器的输出与学习目标的协方差。C1的值可以取0.01，C2的值可以取0.03，当然，C1和C2的值也可以为其它值，本实施例不对C1和C2的取值作限定。
纹理损失函数用于训练图像增强模型还原目标图像的图像细节的能力，以使增强后的目标图像的图像细节更接近期望图像的图像细节。
纹理损失函数通过下述公式(4)表示，式中G代表生成式对抗网络(GenerativeAdversarial Networks，GAN)中的自编码器，D代表判别器模型，x代表模型的输入，y是学习目标。重构损失与结构化损失可以看作对于学习目标与自编码器输出的像素级别的还原，所以二者更加关注的是图像恢复中的局部信息，而纹理损失函数则是从整幅图像的角度考虑输出与学习目标之间的关系，从而能够跳出局部信息而注重于整体纹理信息的恢复。
LcGAN(G,D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x))] (4)
需要补充说明的是，上述损失函数(重构损失函数、结构化损失函数和纹理损失函数)只在训练的过程中存在，并用于确定训练过程中训练结果与对应的真实结果之间的损失差异。在使用基于重构损失函数训练出来的图像增强模型进行图像增强处理后，能够使微光下拍摄到的目标图像中被拍摄对象的色彩更接近实际被拍摄对象的色彩；在使用基于结构化损失函数训练出来的图像增强模型进行图像增强处理后，能够使拍摄到的微光下的目标图像与正常拍摄到的期望图像之间的结构相似性更高；在使用基于纹理损失函数训练出来的图像增强模型进行图像增强处理后，能够使拍摄到的微光下的目标图像的图像细节纹理更接近正常拍摄到的图像的图像细节纹理。这样，增强后的目标图像可以用于进行后续的识别处理，比如车牌识别，人脸识别等。
可选地，电子设备获取预先训练的图像增强模型的方式可以是从存储介质中读取；或者，也可以是接收其它设备发送的图像增强模型，本实施例不对该图像增强模型的获取方式作限定。
步骤403，将目标图像输入预先训练的图像增强模型，得到增强后的目标图像。
可选地，电子设备将目标图像输入图像增强模型之前，可以对该目标图像进行预处理，比如：对目标图像进行黑电平矫正、数据重新排列等。其中，图像数据的有效值一般为0-255，但图像采集组件在出厂时，厂家一般会设置图像数据输出范围中的最低电平不为零，比如：5-255。因此，需要对图像数据范围进行调整，使其最小值为零，这个过程就是黑电平校正。数据重新排列用于使目标图像变成图像增强模型适用的输入格式。当然，电子设备还可以对目标图像进行其它预处理操作，本实施例在此不再一一列举。
可选地，电子设备在得到增强后的目标图像之后，可以将该增强后的目标图像编码为有效值在0-255之间的彩色图像输出。电子设备可以直接显示该彩色图像；或者，也可以将该彩色图像发送至其它设备。
综上所述，本实施例提供的图像增强方法，通过获取目标图像；获取预先训练的图像增强模型；该图像增强模型基于自编码器和可扩展网络构成，且图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；将目标图像输入预先训练的图像增强模型，得到增强后的目标图像；可以解决现有的图像增强方法无法还原图像的色彩和图像细节的问题；由于重构损失函数可以训练图像增强模型对目标图像的色彩增强能力，结构化损失函数可以训练图像增强模型还原目标图像的结构信息的能力，纹理损失函数可以训练图像增强模型还原目标图像的图像细节的能力；因此，基于重构损失函数、结构化损失函数和纹理损失函数训练得到的图像增强模型可以增强目标图像的色彩、结构相似性以及图像纹理，可以提高图像增强效果。
另外，由于自编码器可以提取出目标图像中最具有代表性的信息，缩减目标图像的信息量，然后对缩减后的信息进行学习，因此，学习速度较快；而可扩展网络的网络深度和宽度可控，因此，通过基于自编码器和可扩展网络构成图像增强模型，可以解决其他基于深度学习的方法性能开销过大而无法在处理能力较低的设备上运行的问题；使得图像增强模型既可以具有自编码器学习速度快的特点，又可以对模型的深度和宽度按照需求进行控制，可以提高图像增强模型的网络性能及应用范围。
另外，通过将自编码器中编码器的第一子层跨层连接至解码器的第二子层，可以得到一个全卷积神经网络(Fully Convolutional Networks，FCN)，使得图像增强模型可以处理任意分辨率的目标图像，跨层链接使得自编码器能够更好地还原图像的上下文信息，提高图像增强效果。
上述图像增强方法尤其适用于微曝光量下的图像增强，适用于黑夜下的车辆识别、车牌识别，人脸识别。在一个图像增强场景中，对车辆卡口采集目标图像进行图像增强：
1、使用车辆卡口中的图像采集传感器对夜间道路车辆进行抓拍，得到目标图像。
2、对目标图像进行黑电平矫正、数据的重新排列工作等预处理操作，使该目标图像成为合理的网络输入格式。
3、将预处理后的目标图像输入图像增强模型，得到增强后的目标图像。
4、将增强后的目标图像编码为区间0到255的合理RGB图片并输出。
当然，图像增强场景也可以为其它场景，比如：夜间拍照场景、夜间航拍等场景，当然，本申请提供的图像增强方法也适用于非夜间场景的图像增强，本实施例不对该图像增强方法的使用场景作限定。
基于上述实施例，在步骤402之前，电子设备还可以对待训练模型进行训练，得到图像增强模型。参考图7所示的图像增强模型的训练方法，该方法至少包括如下几个步骤：
步骤701，获取样本集，样本集包括至少一组样本数据，每组样本数据包括低质量图像和高质量图像。
在一个示例中，低质量图像为快门速度小于第一快门阈值时，在不同光照条件和/或不同增益值的条件下对训练场景进行采集得到的图像信息。高质量图像为快门速度大于或等于第二快门阈值时，在不同光照条件和/或不同增益值的条件下对训练场景进行采集得到的图像信息。
其中，第一快门阈值与第二快门阈值可以相同也可以不同，示意性地，第一快门阈值为500ms，第二快门阈值为1000ms；或者，第一快门阈值和第二快门阈值均为1000ms，本实施例不对第一快门阈值和第二快门阈值的取值作限定。
比如：在暗室中通过补光灯控制环境的光照强度，获得从1勒克司度(Lux)到20Lux不等的环境光照。通过对图像采集传感器(如互补金属氧化物半导体(ComplementaryMetal Oxide Semiconductor，CMOS)传感器)的控制获得从0db到30db不等的增益值，从而获取真实的噪声模型。最后设定图像采集传感器的快门速度分别为100ms，200ms，500ms以及1000ms，通过对光照度、增益值和快门速度这三个参数的组合可以对真实环境的不同光照，不同噪声以及不同使用场景的夜间图像成像问题进行数据建模。若第一快门阈值为500ms，第二快门阈值为1000ms，则将快门速度为100ms，200ms，500ms的图像信息划分为低质量图像，将快门速度为1000ms的图像信息划分为高质量图像。而图像增强模型的训练过程就是将低质量图像恢复为高质量图像的过程。
步骤702，获取待训练模型。
其中，待训练模型的网络结构与图像增强模型的网络结构相同，待训练模型的网络结构是在自编码器的基础上引入可扩展网络得到的。
步骤703，将每组样本数据中的低质量图像输入待训练模型，得到训练结果。
可选地，由于图像采集传感器采集到的图像的分辨率通常高于模型训练时模型所需的分辨率，比如：图像采集传感器采集到的图像的分辨率为1920*1080，在训练时并不需要将原图进行输入，因此，电子设备可以随机抠取指定大小的区域，并对抠取的像素区域进行随机的翻转与旋转操作，进行数据增广，将处理后的图像输入待训练模型。
步骤704，将训练结果和对应样本数据中的高质量图像分别输入重构损失函数、结构化损失函数和纹理损失函数，并使用各个损失函数的值对待训练模型进行迭代训练，直至训练次数达到预设次数或者各个损失函数的值稳定在预设范围内时停止训练，得到图像增强模型。
其中，高质量图像为待训练模型的学习目标。
为了更清楚地理解本申请提供的图像增强模型的训练方法，参考图8所示的图像增强模型的训练方法的示意图，对于每组样本数据，将该样本数据中的低质量图像X输入待训练模型，得到训练结果；训练结果和该样本数据中的高质量图像分别输入至重构损失函数、结构化损失函数和纹理损失函数，根据各个损失函数的值对待训练模型中的模型参数进行调整。
综上所述，本实施例提供的图像增强模型的训练方法，通过获取样本集，样本集中的每组样本数据包括低质量图像和高质量图像；将每组样本数据中的低质量图像输入待训练模型，得到训练结果；将训练结果和对应样本数据中的高质量图像分别输入重构损失函数、结构化损失函数和纹理损失函数，并使用各个损失函数的值对待训练模型进行迭代训练，直至训练次数达到预设次数或者各个损失函数的值稳定在预设范围内时停止训练，得到图像增强模型；可以解决现有的图像增强方法无法还原图像的色彩和图像细节的问题，由于重构损失函数可以训练图像增强模型对目标图像的色彩增强能力，结构化损失函数可以训练图像增强模型还原目标图像的结构信息的能力，纹理损失函数可以训练图像增强模型还原目标图像的图像细节的能力；因此，基于重构损失函数、结构化损失函数和纹理损失函数训练得到的图像增强模型可以增强目标图像的色彩、结构相似性以及图像纹理，可以提高图像增强效果。
另外，通过在现实场景下采集大量不同光照环境，不同设备增益以及不同快门速度的图像信息构成样本集；使用该样本集对待训练模型进行训练；可以解决现有的图像增强方法无法明确地模拟图像噪声的问题；由于样本集是模拟真实图像采集的环境得到的，因此，可以提高模型训练的准确性，从而提高图像增强的效果。
可选地，基于上述实施例，在步骤403之后，电子设备还可以获取现实环境增强后的拍摄到的目标图像，并以该现实环境增强后的拍摄到的目标图像作为学习目标，对图像增强模型再次进行训练，训练方法参见图7所述的实施例，本实施例在此不再赘述。
其中，现实环境增强后拍摄到的目标图像中的图像特征与步骤401获取到的目标图像中的图像特征相同，但是，现实环境增强后拍摄到的目标图像为不需要进行图像增强的图像。
图9是本申请一个实施例提供的图像增强装置的框图。该装置至少包括以下几个模块：图像获取模块910、模型获取模块920和图像增强模块930。
图像获取模块910，用于获取目标图像；
模型获取模块920，用于获取预先训练的图像增强模型；所述图像增强模型基于自编码器和可扩展网络构成，且所述图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；所述重构损失函数用于训练所述图像增强模型对所述目标图像的色彩增强能力，所述结构化损失函数用于训练所述图像增强模型还原所述目标图像的结构信息的能力，所述纹理损失函数用于训练所述图像增强模型还原所述目标图像的图像细节的能力；
图像增强模块930，用于将所述目标图像输入预先训练的图像增强模型，得到增强后的目标图像。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的图像增强装置在进行图像增强时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将图像增强装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像增强装置与图像增强方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图10是本申请一个实施例提供的图像增强装置的框图。该装置至少包括处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的图像增强方法。
在一些实施例中，图像增强装置还可选包括有：外围设备接口和至少一个外围设备。处理器1001、存储器1002和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
当然，图像增强装置还可以包括更少或更多的组件，本实施例对此不作限定。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的图像增强方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的图像增强方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像增强方法，其特征在于，所述方法包括：
获取目标图像；
获取预先训练的图像增强模型；所述图像增强模型基于自编码器和可扩展网络构成，且所述图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；所述重构损失函数用于训练所述图像增强模型对所述目标图像的色彩增强能力，所述结构化损失函数用于训练所述图像增强模型还原所述目标图像的结构信息的能力，所述纹理损失函数用于训练所述图像增强模型还原所述目标图像的图像细节的能力；
将所述目标图像输入预先训练的图像增强模型，得到增强后的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取预先训练的图像增强模型之前，还包括：
获取样本集，所述样本集包括至少一组样本数据，每组样本数据包括低质量图像和高质量图像；
获取待训练模型，所述待训练模型的网络结构与所述图像增强模型的网络结构相同，所述待训练模型的网络结构是在自编码器的基础上引入可扩展网络得到的；
将每组样本数据中的低质量图像输入所述待训练模型，得到训练结果；
将所述训练结果和对应样本数据中的高质量图像分别输入所述重构损失函数、所述结构化损失函数和所述纹理损失函数，并使用各个损失函数的值对所述待训练模型进行迭代训练，直至训练次数达到预设次数或者各个损失函数的值稳定在预设范围内时停止训练，得到所述图像增强模型。
3.根据权利要求2所述的方法，其特征在于，
所述低质量图像为快门速度小于第一快门阈值时，在不同光照条件和/或不同增益值的条件下对训练场景进行采集得到的图像信息；
所述高质量图像为快门速度大于或等于第二快门阈值时，在不同光照条件和/或不同增益值的条件下对训练场景进行采集得到的图像信息。
4.根据权利要求1所述的方法，其特征在于，所述自编码器包括：编码器和解码器，所述编码器和所述解码器之间具有跨层连接；所述可扩展网络设置于所述编码器和所述解码器之间。
5.根据权利要求4所述的方法，其特征在于，
所述编码器包括多个第一子层，每个第一子层包括卷积层和非线性单元；
所述解码器包括多个第二子层和多个升采样层，每个第二子层包括卷积层和非线性单元；
所述编码器中的至少一个第一子层跨层连接至所述解码器中的第二子层，且不同第一子层跨层连接的第二子层不同。
6.根据权利要求1至5任一所述的方法，其特征在于，所述可扩展网络为残差块，所述残差块包括卷积层和非线性单元，所述残差块内部具有跨层连接。
7.根据权利要求1至5任一所述的方法，其特征在于，所述自编码器为U-Net网络或者SegNet网络。
8.一种图像增强装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标图像；
模型获取模块，用于获取预先训练的图像增强模型；所述图像增强模型基于自编码器和可扩展网络构成，且所述图像增强模型基于重构损失函数、结构化损失函数和纹理损失函数训练得到；所述重构损失函数用于训练所述图像增强模型对所述目标图像的色彩增强能力，所述结构化损失函数用于训练所述图像增强模型还原所述目标图像的结构信息的能力，所述纹理损失函数用于训练所述图像增强模型还原所述目标图像的图像细节的能力；
图像增强模块，用于将所述目标图像输入预先训练的图像增强模型，得到增强后的目标图像。
9.一种图像增强装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的图像增强方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至7任一项所述的图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910729554.8A CN112348747A (zh) | 2019-08-08 | 2019-08-08 | 图像增强方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910729554.8A CN112348747A (zh) | 2019-08-08 | 2019-08-08 | 图像增强方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112348747A true CN112348747A (zh) | 2021-02-09 |
Family
ID=74366668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910729554.8A Pending CN112348747A (zh) | 2019-08-08 | 2019-08-08 | 图像增强方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348747A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819731A (zh) * | 2021-03-19 | 2021-05-18 | 广东众聚人工智能科技有限公司 | 灰度图像增强方法、装置、计算机设备及存储介质 |
| CN112991227A (zh) * | 2021-04-15 | 2021-06-18 | 中国人民解放军国防科技大学 | 基于U-net++网络的弱光图像增强方法和装置 |
| CN113158982A (zh) * | 2021-05-17 | 2021-07-23 | 广东中卡云计算有限公司 | 一种半介入式的目标关键点标注方法 |
| CN113469897A (zh) * | 2021-05-24 | 2021-10-01 | 苏州市科远软件技术开发有限公司 | 图像增强模型的训练、图像增强方法、装置及电子设备 |
| CN113556526A (zh) * | 2021-07-18 | 2021-10-26 | 北京理工大学 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
| CN113781320A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、装置、终端设备及存储介质 |
| CN114399693A (zh) * | 2021-12-29 | 2022-04-26 | 国能铁路装备有限责任公司 | 承载鞍寿命预算方法及装置 |
| CN114529484A (zh) * | 2022-04-25 | 2022-05-24 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
| CN114998605A (zh) * | 2022-05-10 | 2022-09-02 | 北京科技大学 | 一种恶劣成像条件下图像增强引导的目标检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100066874A1 (en) * | 2008-08-01 | 2010-03-18 | Nikon Corporation | Image processing method |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109255769A (zh) * | 2018-10-25 | 2019-01-22 | 厦门美图之家科技有限公司 | 图像增强网络的训练方法和训练模型、及图像增强方法 |
| CN109584325A (zh) * | 2018-10-30 | 2019-04-05 | 河北科技大学 | 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 |
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
-
2019
- 2019-08-08 CN CN201910729554.8A patent/CN112348747A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100066874A1 (en) * | 2008-08-01 | 2010-03-18 | Nikon Corporation | Image processing method |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109255769A (zh) * | 2018-10-25 | 2019-01-22 | 厦门美图之家科技有限公司 | 图像增强网络的训练方法和训练模型、及图像增强方法 |
| CN109584325A (zh) * | 2018-10-30 | 2019-04-05 | 河北科技大学 | 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 |
| CN110097512A (zh) * | 2019-04-16 | 2019-08-06 | 四川大学 | 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819731A (zh) * | 2021-03-19 | 2021-05-18 | 广东众聚人工智能科技有限公司 | 灰度图像增强方法、装置、计算机设备及存储介质 |
| CN112819731B (zh) * | 2021-03-19 | 2021-11-05 | 广东众聚人工智能科技有限公司 | 灰度图像增强方法、装置、计算机设备及存储介质 |
| CN112991227A (zh) * | 2021-04-15 | 2021-06-18 | 中国人民解放军国防科技大学 | 基于U-net++网络的弱光图像增强方法和装置 |
| CN113158982A (zh) * | 2021-05-17 | 2021-07-23 | 广东中卡云计算有限公司 | 一种半介入式的目标关键点标注方法 |
| CN113469897A (zh) * | 2021-05-24 | 2021-10-01 | 苏州市科远软件技术开发有限公司 | 图像增强模型的训练、图像增强方法、装置及电子设备 |
| CN113556526A (zh) * | 2021-07-18 | 2021-10-26 | 北京理工大学 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
| CN113556526B (zh) * | 2021-07-18 | 2022-11-15 | 北京理工大学 | 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法 |
| CN113781320A (zh) * | 2021-08-02 | 2021-12-10 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、装置、终端设备及存储介质 |
| CN114399693A (zh) * | 2021-12-29 | 2022-04-26 | 国能铁路装备有限责任公司 | 承载鞍寿命预算方法及装置 |
| CN114529484A (zh) * | 2022-04-25 | 2022-05-24 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
| CN114529484B (zh) * | 2022-04-25 | 2022-07-12 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
| CN114998605A (zh) * | 2022-05-10 | 2022-09-02 | 北京科技大学 | 一种恶劣成像条件下图像增强引导的目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
| Li et al. | Low-light image and video enhancement using deep learning: A survey | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN109636754B (zh) | 基于生成对抗网络的极低照度图像增强方法 | |
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| US20230214976A1 (en) | Image fusion method and apparatus and training method and apparatus for image fusion model | |
| WO2021164731A1 (zh) | 图像增强方法以及图像增强装置 | |
| WO2021164234A1 (zh) | 图像处理方法以及图像处理装置 | |
| WO2020199831A1 (zh) | 图像处理模型的训练方法、图像处理方法、网络设备及存储介质 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| US20240062530A1 (en) | Deep perceptual image enhancement | |
| Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| Yan et al. | Enhanced network optimized generative adversarial network for image enhancement | |
| CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
| CN113781468B (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
| Zheng et al. | Low-light image and video enhancement: A comprehensive survey and beyond | |
| CN113658065B (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
| CN114511487A (zh) | 图像融合方法及装置、计算机可读存储介质、终端 | |
| Chen et al. | High-dynamic range, night vision, image-fusion algorithm based on a decomposition convolution neural network | |
| CN115063301A (zh) | 一种视频去噪方法、视频处理方法和装置 | |
| CN116579940A (zh) | 一种基于卷积神经网络的实时低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |