CN110232670A - 一种基于高低频分离的图像视觉效果增强的方法 - Google Patents
一种基于高低频分离的图像视觉效果增强的方法 Download PDFInfo
- Publication number
- CN110232670A CN110232670A CN201910534021.4A CN201910534021A CN110232670A CN 110232670 A CN110232670 A CN 110232670A CN 201910534021 A CN201910534021 A CN 201910534021A CN 110232670 A CN110232670 A CN 110232670A
- Authority
- CN
- China
- Prior art keywords
- image
- low frequency
- network model
- frequency component
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000007 visual effect Effects 0.000 title claims abstract description 27
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 21
- 238000000926 separation method Methods 0.000 title claims description 16
- 238000012805 post-processing Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于高低频分离的图像视觉效果增强的方法，步骤包括：S1采集图像，采集的所有高清图像构成原始图像集合；S2对原始图像进行后期处理增强视觉效果，得到后期处理的图像集合；S3采用高斯滤波器对原始图像和后期处理图像进行平滑处理，提取两者的低频分量；S4建立基于全卷积的上下文聚合网络模型，将原始图像和后期处理图像的低频分量作为图像序列输入网络进行训练，更新上下文聚合网络模型中的参数，得到训练后的网络模型；S5将待处理的图像的高频分量和经过训练后的网络模型处理后低频分量进行叠加，得到待处理图像的视觉效果增强图。本发明方法简单有效，可以尽可能地保留原图像中的细节，最后得到的视觉效果增强图效果更好。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于高低频分离的图像视觉效果增强的方法。
背景技术
随着经济社会不断发展，科技不断进步，图像获取和存储的成本不断降低，使用相机来记录生活中美好的瞬间已经成为人们保存记忆的一种重要方式。数字图像及其处理已经慢慢渗透到我们生活和工作的各个角落，其中图像增强是数字图像处理的重要分支，其目的主要是针对给定图像的应用场合，改善图像的视觉效果。
目前常用的对图像进行效果增强方法非常多，传统的如双通滤波算子、高斯滤波算子等，但是他们都只能对一整张图做整体或局部的统一改变，通常被当作超清人像后期处理的某个工具来使用。除此外，国内外有不少人利用这些算子对图像增强领域进行了相关研究，其中Wei F,Kai W,Cayre F,等人提出一种MF图像的质量增强技术，使用一个参数设置和额外的像素值扰动程序，实验证明优于目前最先进的中值滤波反取证法。还具有更好的现有探测器取证不可检测性，且处理后的图像具有更高的视觉质量。
近年来，不少人将深度学习运用于图像领域，在图像增强方面取得了不少的成功，如TaoL,Zhu C,Xiang G提出了一种基于CNN的低亮度图像增强方法，运用残差思想设计了的LLCNN神经网络来利用多尺度特征映射，进而避免了梯度消失问题，使用SSIM Loss来对网络进行训练，实验结果表明可以自适应地增强微光图像的对比度。
在对超清专业人像照片进行视觉增强过程中，我们发现，若直接端到端的训练图片，会有不能很好的保留住图片细节部分，即容易丢失图片边缘信息，造成部分图片出现明暗过渡不自然的现象，因此，上述的方法虽然也能实现图像的视觉效果增强，但都存在一个缺点，即算法模型会使得图片丢失部分细节，如脸上的毛孔等，使得专业人像照片缺失质感。通过专业修图师的评比与实验结果数据的统计评估，发现很多图片会出现偏色的情况以及出现磨皮效果会产生明暗过渡不自然、缺失质感等问题，甚至有些照片会出现偏色的现象。
发明内容
针对现有技术存在的上述问题，本发明的目的是提供一种简单，且不会丢失原图细节的图像视觉效果增强方法。
为实现上述目的，本发明采用如下技术方案：一种基于高低频分离的图像视觉效果增强的方法，步骤包括：
S1：采集图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；
S2：在不对图像构图进行修改的基础上，对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合X，记为X＝{X1,X2,X3,…,Xn}，其中Xt是xt经过后期处理的图像，t∈[1,n]；
S3：对原始图像集合x中的所有原始图像采用高斯滤波器进行平滑处理，提取每张原始图像的低频分量，得到原始图像集合x的原始图像低频分量集x’，记为x′＝{x′1,x′2,x′3,…,x′n}；
对后期处理的图像集合X中的所有处理后的图像采用高斯滤波器进行平滑处理，提取每张处理后的图像的低频分量，得到后期处理的图像集合X的后期处理图像的低频分量集X’，X′＝{X′1,X′2,X′3,…,X′n}；
S4:建立基于全卷积的上下文聚合网络模型,所述上下文聚合网络模型训练过程中，将原始图像的低频分量和对应的处理后的图像的低频分量构成图像序列{<x′1,X′1>,<x′2,X′2>,<x′3,X′3>,…<x′n,X′n>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的网络模型；
S5：将待处理图像采用高斯滤波器进行平滑处理，提取待处理图像的低频分量，采用待处理图像减去待处理图像的低频分量得到待处理图像的高频分量；
将待处理图像的低频分量输入到训练后的网络模型中，得到待处理图像的低频增强图像，将所述待处理图像的低频增强图像与所述待处理图像的高频分量叠加，得到待处理图像的视觉效果增强图。
作为改进，所述S2中后期处理是指对图像进行色彩，饱和度，对比度亮度调整操作。
作为改进，如果S1采集的图像为超清人像，则所述S2中后期处理是指，对图像进行色
彩，饱和度，对比度亮度及磨皮调整操作。
作为改进，步骤S4所建立的基于全卷积的上下文聚合网络模型如下：
设该上下文聚合网络模型共有d层，记该上下文聚合网络模型为{L0,L1,…,Ld}，其中第一层L0和最后一层Ld的维度均为q×p×3，第一层L0表示输入图像，最后一层Ld表示输出图像，q×p表示分辨率；
每个中间层Ls维度为q×p×w，1≤s≤d-1，w是每个中间层的通道数，中间层Ls的内容根据前一层Ls-1的计算得出，计算如式(1)所示：
其中表示第s层的第i个通道，表示第s层的第i个偏置量，表示第s层的第i个卷积核的第j个通道；运算符表示指空洞率为rs的空洞卷积，随深度增加，rs＝2s -1,此处，1≤s≤d-2，对于Ld-1层，rs＝1，对于输出层Ld，使用3个1×1卷积核，将最终层投影到RGB颜色空间；
Φ是LReLU激活函数，如式(2)所示，
LReLU(x)＝max(αx,x),α＝0.2；(2)；
其中max是取最大值的函数；
Ψs是自适应归一化函数，如式(3)所示：
Ψs(x)＝λsx+μsBN(x) (3)；
其中λs,μs∈R，是通过神经网络的反向传播进行学习的权重；BN则是指批标准化；
向所述上下文聚合网络模型中输入图片对，即未经过后期处理的原图像和对应的经过后期处理的图像，输入图片对遍历原始图像低频分量集x’和后期处理图像的低频分量集X’，所述上下文聚合网络模型根据损失函数进行反向传播对上下文聚合网络模型的参数进行更新，设所述上下文聚合网络模型更新次数为T，损失函数如式(4)所示：
其中x′t表示指输入到网络模型的原图像的低频分量，X′t是指经过专业修图师后期处理的目标图像的低频分量，且x′t和X′t的分辨率相同；Nt是图像x′t的像素个数；F(x′t)是指经过所建立的上下文聚合网络模型而得到的原图像低频分量的增强图。
相对于现有技术，本发明至少具有如下优点：
本发明提供的方法简单有效，通过高斯模糊的方式得到图像的低频分量，将原始图像和目标图像的低频分量输入到网络进行端到端的学习，以降低算法对照片细节的负面影响。使用时，对测试图像也进行高低频分离，其低频分量使用网络模型得到的相应的低频图像，再叠加原图像的高频分量而得到的结果图像。实验结果表明比不分高低频，直接学习的模型得到的结果图像效果好。
附图说明
图1是本发明方法的流程简图。
图2是本发明方法所用到的CAN网络主要架构。
图3、图4、图5均是使用本发明方法与不使用本发明方法的实验结果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。
本发明利用高斯模糊处理，提取出图像的低频分量，将原始图像的低频分量和目标图像的低频分量作为输入输出对，输入到CAN网络中进行学习，得到训练后的模型，网络架构参见附图2。使用时，将未经过后期处理的其它原图像经过高斯模糊后得到低频分量，用原图像减去这些低频图像得到原图像的高频分量。将原图像的低频分量输入到训练后的模型，得到经过网络处理的低频图像，最后再将高频图像叠加到通过网络获取的低频图像上，得到最终的图像。
参见图1和图2，参见图1和图2，图1是本发明方法的流程简图，图2是本发明方法所使用的网络架构，第一层和倒数第二层和普通卷积一样，卷积核是3x3，第二层至倒数第三层是用的空洞卷积，最后一层是用1x1卷积核，直接线性的将最终层投影到RGB颜色空间，本发明方法使用的网络共9层。
一种基于高低频分离的图像视觉效果增强的方，步骤包括：
S1：采集图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；；图像可以是专业人像摄影师拍摄；
S2：在不对图像构图进行修改的基础上，对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合X，记为X＝{X1,X2,X3,…,Xn}，，其中Xt是xt经过后期处理的图像，t∈[1,n]；此处的后期处理是指对图像进行色彩，饱和度，对比度亮度调整操作；如果S1采集的图像为超清人像，则所述S2中后期处理是指，对图像进行色彩，饱和度，对比度亮度及磨皮调整操作；
S3：对原始图像集合x中的所有原始图像采用高斯滤波器进行平滑处理，提取每张原始图像的低频分量，得到原始图像集合x的原始图像低频分量集x’，记为x′＝{x′1,x′2,x′3,…,x′n}；
对后期处理的图像集合X中的所有处理后的图像采用高斯滤波器进行平滑处理，提取每张处理后的图像的低频分量，得到后期处理的图像集合X的后期处理图像的低频分量集X’，X′＝{X′1,X′2,X′3,…,X′n}；
具体地，将原图像与指定的高斯内核进行卷积，设定的高斯内核大小为(3,3)。实现时，使用OpenCV的cv2.GaussianBlur()函数，高斯卷积核为(3,3)。
原始图像减去该原始图像低频分量即得该原始图像高频分量，后期处理的图像减去该后期处理的图像的低频分量即得该后期处理的图像的高频分量。
S4：建立基于全卷积的上下文聚合网络(Context Aggregation Network)模型，所述上下文聚合网络模型训练过程中，将将原始图像的低频分量和对应的处理后的图像的低频分量构成图像序列{<x′1,X′1>,<x′2,X′2>,<x′3,X′3>,…<x′n,X′n>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的网络模型；
全卷积神经网络——Fully Convolutional Networks(FCN)架构，是指将传统CNN中的全连接层转化成卷积层，使得所有的层都是卷积层，故称为全卷积网络。这种网络的好处之一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸，即可以跨分辨率训练和测试图片。在全卷积网络之上，将其中的卷积操作替换为空洞卷积。使用空洞卷积的优点主要是：卷积核参数个数没变，即意味着计算量没变；感受野大大增加，使得能更好的学习到全局信息。提出空洞卷积是为了替代池化层，因为池化层会损失信息，降低精度；不加池化层又会使感受视野变小，学不到全局特征；若去掉池化层，扩大卷积核又势必导致计算上的灾难，因此使用空洞卷积就是最好的选择。
具体地，步骤S4所建立的基于全卷积的上下文聚合网络模型如下：
设该上下文聚合网络模型共有d层，记该上下文聚合网络模型为{L0,L1,…,Ld}，其中第一层L0和最后一层Ld的维度均为q×p×3，第一层L0表示输入图像，最后一层Ld表示输出图像，q×p表示分辨率，是指输入图片的分辨率；
第一层和倒数第二层和普通卷积一样，第二层至倒数第三层是用的空洞卷积，最后一层是用1x1卷积核。
每个中间层Ls维度为q×p×w，1≤s≤d-1，w是每个中间层的通道数，即特征图的数量，中间层Ls的内容根据前一层Ls-1的计算得出，计算如式(1)所示：
其中表示第s层的第i个通道，表示第s层的第i个偏置量，表示第s层的第i个卷积核的第j个通道，具体实施时可以为3×3大小的卷积核，其通道数则与上一层的通道数一样；运算符表示指空洞率为rs的空洞卷积，随深度增加，rs＝2s-1,此处，1≤s≤d-2，对于Ld-1层，rs＝1，对于输出层Ld，使用3个1×1卷积核，将最终层投影到RGB颜色空间；
Φ是LReLU激活函数，如式(2)所示，
LReLU(x)＝max(αx,x),α＝0.2；(2)；
其中max是取最大值的函数；
Ψs是自适应归一化函数，如式(3)所示：
Ψs(x)＝λsx+μsBN(x)(3)；
其中λs,μs∈R，是通过神经网络的反向传播进行学习的权重；BN则是指批标准化(BatchNormalization)；
因为训练是监督训练，因此向所述上下文聚合网络模型中输入图片序列，输入图片序列遍历原始图像低频分量集x’和后期处理图像的低频分量集X’，所述上下文聚合网络模型根据损失函数进行反向传播对上下文聚合网络模型的参数进行更新，设所述上下文聚合网络模型更新次数为T，上下文聚合网络模型开始训练时，需对上下文聚合网络模型的参数赋初始值，通常该初始值即为经验值。为了尽可能的使训练出的模型效果好且不至于发生过拟合，发明人经过多次试验和数据分析，发现上下文聚合网络模型的参数更新次数T＝180*n，即输入n对图像进行训练，每输入一个图片对更新一次，然后再循环180次，并将学习率设置为0.0001时。经过T次更新后建立的上下文聚合网络模型处理图像的视觉效果增强已经非常好。
所述上下文聚合网络模型的参数是指λs，μs和该损失函数如式(4)所示：
其中x′t表示指输入到网络模型的原图像的低频分量，X′t是指经过专业修图师后期处理的目标图像的低频分量，且x′t和X′t的分辨率相同；Nt是图像x′t的像素个数；F(x′t)是指经过所建立的神经网络模型而得到的原图像低频分量的增强图。
S5：将待处理图像采用高斯滤波器进行平滑处理，提取待处理图像的低频分量，采用待处理图像减去待处理图像的低频分量得到待处理图像的高频分量；
将待处理图像的低频分量输入到训练后的网络模型中，得到待处理图像的低频增强图像，将所述待处理图像的低频增强图像与所述待处理图像的高频分量叠加，得到待处理图像的视觉效果增强图。
本发明所述的高斯滤波器属于现有技术，本发明的发明点在于将高斯滤波器与全卷积的上下文聚合网络相结合来增强图像的视觉效果。
本发明方法通过高斯模糊的方式得到图像的低频分量，将原始图像和目标图像的低频分量形成相应的序列对{<x′1,X′1>,<x′2,X′2>,<x′3,X′3>,…<x′n,X′n>}输入到网络端进行学习，以降低算法对照片细节的负面影响。使用时，对测试图像也进行高低频分离，其低频分量使用网络模型得到的相应的低频图像，再叠加原图像的高频分量而得到的结果图像。
实验测试：
实验数据集
实验数据集为3000张超高清专业人像照片，以及这些超高清人像图对应的经过专业修图师后期处理过的3000张图像.用另外300张进行测试。分辨率均是4K及以上的图像。网络模型层数d＝9。
评估指标
本发明使用图像增强常用的两种客观评价指标：峰值信噪比PSNR(Peak Signal-to-NoiseRatio)和结构相似性SSIM(Structural similar index)。
峰值信噪比PSNR(dB)是基于像素域的评价方法，该方法计算简单，是目前最普遍和使用最为广泛的一种图像客观评价指标。它是基于对应像素点间的误差，即基于误差敏感的图像质量评价，计算公式如(a)所示：
其中，MSE表示待评价图像X和所参考的目标图像Y的均方误差，也是反映估计量与被估计量之间差异程度的一种度量，计算公式如(b)所示：
其中，f′(i,j)是待评价图像，f(i,j)是所参考的目标图像，M和N分别是图像的长和宽。(a)式中，n为每像素的比特数，一般取8，即像素灰阶数为256。PSNR的单位是dB，数值越大表示失真越小。
上面是针对灰度图像的计算方法，如果是彩色图像，通常有三种方法来计算：1.分别计算RGB三个通道的PSNR，然后取平均值；2.计算RGB三通道的MSE，然后取平均值；3.将图片转化为YCbCr格式，然后只计算Y分量也就是亮度分量的PSNR。其中，第二和第三种方法比较常见，本发明方法使用第一种方法。
结构相似性SSIM，也是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。计算公式如(c)所示
SSIM(x,y)＝[l(x,y)αc(x,y)βs(x,y)γ] (c)；
其中，l(x,y)是亮度比较，c(x,y)是对比度比较，s(x,y)是结构比较，他们的计算公式如(d)、(e)、(f)所示：
其中，x是目标图片，y是测试图片，μx和μy分别代表x和y的平均值，σx和σy分别代表x,y的标准差，σxy代表x和y的协方差。c1，c2，c3分别为常数，避免分母为0带来的系统错误。一般的，我们会把(c)中α，β，γ分别设置为1，c3＝c2/2，此时SSIM简化为式(g)：
SSIM是一个0到1之间的数，越大表示输出图像和无失真图像的差距越小。
实验结果与分析
本发明使用3000张超高清专业人像照片，以及对应的经过专业修图师后期处理过的3000张图像。将原始图像和目标图像经过高斯模糊操作，得到各自的低频图像分量，并形成相应的序列对，作为CAN网络的输入，对网络进行端到端的训练；用另外300张超高清专业人像照片进行测试。
学习率设置为0.0001，考虑到学习时间和硬件设备，将原始照片和经过后期处理的目标图片长宽各缩小3倍后输入到网络中进行学习，一共循环180次。
误差评估使用最普遍使用的PSNR和SSIM进行最终图像评估，评估通过网络得到的照片与经过专业修图师后期处理得到的目标照片之间的误差。表1是不使用本发明方法，直接端到端的学习这3000对照片映射关系而得到的结果照片和使用本发明方法得到的结果照片分别与目标照片之间的PSNR对比结果，列出了其中随机10张照片的误差值以及所有测试照片的平均误差值。
表1不对图像数据进行高低频分离得到的结果照片和分高低频得到的结果照片分别与目标图之间的PSNR对比结果。
表1
| Imge_name | PSNR1 | PSNR2 |
| 000001.jpg | 25.275212 | 24.723369 |
| 000012.jpg | 30.178884 | 29.772468 |
| 000021.jpg | 26.290671 | 27.531216 |
| 000031.jpg | 23.298819 | 27.552732 |
| 000047.jpg | 28.689467 | 29.432442 |
| 000053.jpg | 27.739467 | 29.988151 |
| 000064.jpg | 24.289226 | 30.008048 |
| 000072.jpg | 25.614266 | 29.151021 |
| 000091.jpg | 28.145614 | 27.908734 |
| 000100.jpg | 28.433076 | 30.347678 |
| …… | …… | …… |
| 平均 | 26.272189 | 28.767353 |
从上表可以看到如果不使用高低频分离的方法，虽然有些图像的PSNR值比使用高低频分离方法的PSNR值高，但从平均值来看，不使用高低频分离的方法最终得到的PSNR的平均值为26.272189，而使用本发明方法最终得到结果的PSNR的平均值为28.767353。表明图像数据预处理时分调性，再经过网络得到的照片依然非常高清，没有失真，从像素域上判断比图像数据预处理时不分调性得到的结果更好。
表1是不使用本发明方法，直接端到端的学习这3000对照片映射关系而得到的结果照片和使用本发明方法得到的结果照片分别与目标照片之间的SSIM对比结果，列出了其中随机10张照片的误差值以及所有测试照片的平均误差值。
表2不对图像数据进行高低频分离得到的结果照片和分高低频得到的结果照片分别与目标图之间的PSNR对比结果。
表2
| Imge_name | SSIM1 | SSIM2 |
| 000001.jpg | 0.9480754 | 0.9652113 |
| 000012.jpg | 0.9681157 | 0.9720369 |
| 000021.jpg | 0.9605032 | 0.9607599 |
| 000031.jpg | 0.9522511 | 0.9590443 |
| 000047.jpg | 0.9627041 | 0.9697661 |
| 000053.jpg | 0.972998 | 0.9693301 |
| 000064.jpg | 0.9607706 | 0.9686318 |
| 000072.jpg | 0.9664182 | 0.9664371 |
| 000091.jpg | 0.9641605 | 0.9645667 |
| 000100.jpg | 0.9583147 | 0.9700146 |
| …… | …… | …… |
| 平均 | 0.9628448 | 0.9692817 |
从上表可以看到如果不使用高低频分离的方法，虽然有些图像的SSIM值比使用高低频分离方法的SSIM值高，但从平均值来看，不使用高低频分离的方法最终得到的SSIM的平均值为0.9628448，而使用本发明方法最终得到结果的SSIM的平均值为0.9692817。虽然数值相差不大，但是由于使用本发明方法会将原图的高频分量叠加回由网络得到的低频图像上，从一定程度上增加了噪点，因此数值相差并不大。
由于PSNR和SSIM都是计算图像之间的数值差异，几乎没有考虑人类感知因素和图像中的视觉冗余，即人眼对图像的失真存在一定的阈值，当失真量低于阈值时，人类并不能感知到，于是导致图像主客观评价结果差异较大。因此，附图3、附图4和附图5中给出了原图，高低频分离结果图和不分高低频结果图的对比，其中原图是指未经修饰，直接由照相机成像得到的原始照片；高低频分离结果图是指使用了本发明方法对图像进行高低频分离，然后再使用网络对低频分量进行学习，使用时，对测试图像也进行高低频分离，其低频分量使用网络模型得到的相应的低频图像，再叠加原图像的高频分量而得到的结果图像；不分高低频结果图是指不使用本发明方法，直接将所有原图和对应的目标图作为网络输入得到的经过网络修饰的照片。
通过专业修图师的评比与实验结果数据的统计评估，如果不使用本发明方法，直接学习原始图像到目标图像之间的映射关系，会有不能很好的保留住图片细节部分，即容易丢失图片边缘信息，造成部分图片出现明暗过渡不自然、缺失质感等问题，甚至有些照片会出现偏色的现象，因此，附图3、附图4和附图5中给出了原图，高低频分离结果图和不分高低频结果图的对比。
通过图3图4和图5可以看出通过本发明方法进行处理后得到的结果图与不进行低频高频直接处理得到的图像比，本发明方法得到的结果图视觉效果更好。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于高低频分离的图像视觉效果增强的方法，其特征在于，步骤包括：
S1：采集图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1，x2，x3，...，xn}；
S2：在不对图像构图进行修改的基础上，对上述图像进行后期处理增强视觉效果，采集处理后的图像，所有处理后的图像构成一个后期处理的图像集合X，记为X＝{X1，X2，X3，...，Xn}，其中Xt是xt经过后期处理的图像，t∈[1，n]；
S3：对原始图像集合x中的所有原始图像采用高斯滤波器进行平滑处理，提取每张原始图像的低频分量，得到原始图像集合x的原始图像低频分量集x’，记为x′＝{x′1，x′2，x′3，...，x′n}；
对后期处理的图像集合X中的所有处理后的图像采用高斯滤波器进行平滑处理，提取每张处理后的图像的低频分量，得到后期处理的图像集合X的后期处理图像的低频分量集X’，X′＝{X′1，X′2，X′3，...，X′n}；
S4：建立基于全卷积的上下文聚合网络模型，所述上下文聚合网络模型训练过程中，将原始图像的低频分量和对应的处理后的图像的低频分量构成图像序列{＜x′1，X′1＞，＜x′2，X′2＞，＜x′3，X′3＞，…＜x′n，X′n＞}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的网络模型；
S5：将待处理图像采用高斯滤波器进行平滑处理，提取待处理图像的低频分量，采用待处理图像减去待处理图像的低频分量得到待处理图像的高频分量；
将待处理图像的低频分量输入到训练后的网络模型中，得到待处理图像的低频增强图像，将所述待处理图像的低频增强图像与所述待处理图像的高频分量叠加，得到待处理图像的视觉效果增强图。
2.如权利要求1所述的基于高低频分离的图像视觉效果增强的方法，其特征在于，所述S2中后期处理是指对图像进行色彩，饱和度，对比度亮度调整操作。
3.如权利要求1基于高低频分离的图像视觉效果增强的方法，其特征在于，如果S1采集的图像为超清人像，则所述S2中后期处理是指，对图像进行色彩，饱和度，对比度亮度及磨皮调整操作。
4.如权利要求1或2或3所述的基于高低频分离的图像视觉效果增强的方法，其特征在于，步骤S4所建立的基于全卷积的上下文聚合网络模型如下：
设该上下文聚合网络模型共有d层，记该上下文聚合网络模型为{L0，L1，...，Ld}，其中第一层L0和最后一层Ld的维度均为q×p×3，第一层L0表示输入图像，最后一层Ld表示输出图像，q×p表示分辨率；
每个中间层Ls维度为q×p×w，1≤s≤d-1，w是每个中间层的通道数，中间层Ls的内容根据前一层Ls-1的计算得出，计算如式(1)所示：
其中表示第s层的第i个通道，表示第s层的第i个偏置量，表示第s层的第i个卷积核的第j个通道；运算符表示指空洞率为rs的空洞卷积，随深度增加，rs＝2s-1，此处，1≤s≤d-2，对于Ld-1层，rs＝1，对于输出层Ld，使用3个1×1卷积核，将最终层投影到RGB颜色空间；
Φ是LReLU激活函数，如式(2)所示，
LReLU(x)＝max(αx，x)，α＝0.2； (2)；
其中max是取最大值的函数；
Ψs是自适应归一化函数，如式(3)所示：
Ψs(x)＝λsx+μsBN(x) (3)；
其中λs，μs∈R，是通过神经网络的反向传播进行学习的权重；BN则是指批标准化；
向所述上下文聚合网络模型中输入图片对，即未经过后期处理的原图像和对应的经过后期处理的图像，输入图片对遍历原始图像低频分量集x’和后期处理图像的低频分量集X’，所述上下文聚合网络模型根据损失函数进行反向传播对上下文聚合网络模型的参数进行更新，设所述上下文聚合网络模型更新次数为T，损失函数如式(4)所示：
其中x′t表示指输入到网络模型的原图像的低频分量，X′t是指经过专业修图师后期处理的目标图像的低频分量，且x′t和X′t的分辨率相同；Nt是图像x′t的像素个数；F(x′t)是指经过所建立的上下文聚合网络模型而得到的原图像低频分量的增强图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910534021.4A CN110232670B (zh) | 2019-06-19 | 2019-06-19 | 一种基于高低频分离的图像视觉效果增强的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910534021.4A CN110232670B (zh) | 2019-06-19 | 2019-06-19 | 一种基于高低频分离的图像视觉效果增强的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232670A true CN110232670A (zh) | 2019-09-13 |
| CN110232670B CN110232670B (zh) | 2023-05-12 |
Family
ID=67856288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910534021.4A Active CN110232670B (zh) | 2019-06-19 | 2019-06-19 | 一种基于高低频分离的图像视觉效果增强的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232670B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161189A (zh) * | 2019-12-31 | 2020-05-15 | 杭州电子科技大学 | 一种基于细节弥补网络的单幅图像再增强方法 |
| CN111951207A (zh) * | 2020-08-25 | 2020-11-17 | 福州大学 | 基于深度增强学习和语义损失的图像质量增强方法 |
| WO2021159557A1 (en) * | 2020-02-10 | 2021-08-19 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method for image segmentation using cnn |
| CN114202483A (zh) * | 2021-12-15 | 2022-03-18 | 重庆大学 | 一种基于改进的加性lee滤波磨皮方法 |
| WO2022110687A1 (zh) * | 2020-11-24 | 2022-06-02 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备以及可读存储介质 |
| CN116245754A (zh) * | 2022-12-29 | 2023-06-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825516A (zh) * | 2016-03-25 | 2016-08-03 | 上海慧达医疗器械有限公司 | 一种dicom影像血流分析系统 |
| CN106097274A (zh) * | 2016-06-20 | 2016-11-09 | 陕西理工学院 | 一种自适应分数阶微分图像增强算法 |
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN109410127A (zh) * | 2018-09-17 | 2019-03-01 | 西安电子科技大学 | 一种基于深度学习与多尺度图像增强的图像去噪方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109903237A (zh) * | 2019-01-23 | 2019-06-18 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊算法 |
-
2019
- 2019-06-19 CN CN201910534021.4A patent/CN110232670B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825516A (zh) * | 2016-03-25 | 2016-08-03 | 上海慧达医疗器械有限公司 | 一种dicom影像血流分析系统 |
| CN106097274A (zh) * | 2016-06-20 | 2016-11-09 | 陕西理工学院 | 一种自适应分数阶微分图像增强算法 |
| CN107103331A (zh) * | 2017-04-01 | 2017-08-29 | 中北大学 | 一种基于深度学习的图像融合方法 |
| CN109410127A (zh) * | 2018-09-17 | 2019-03-01 | 西安电子科技大学 | 一种基于深度学习与多尺度图像增强的图像去噪方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109903237A (zh) * | 2019-01-23 | 2019-06-18 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊算法 |
Non-Patent Citations (5)
| Title |
|---|
| QIFENG CHEN等: "Fast Image Processing with Fully-Convolutional Networks", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 余汪洋等: "基于小波变换的图像融合算法研究", 《北京理工大学学报》 * |
| 侯瑞堃: "增强低照度图像算法的研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 席新星等: "基于３－Ｄ剪切波和广义高斯模型的多模态医学序列图像融合", 《计算机科学》 * |
| 李新锋: "一种基于小波变换的煤矿监控图像增强方法", 《科技论坛》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161189A (zh) * | 2019-12-31 | 2020-05-15 | 杭州电子科技大学 | 一种基于细节弥补网络的单幅图像再增强方法 |
| WO2021159557A1 (en) * | 2020-02-10 | 2021-08-19 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method for image segmentation using cnn |
| US11270447B2 (en) | 2020-02-10 | 2022-03-08 | Hong Kong Applied Science And Technology Institute Company Limited | Method for image segmentation using CNN |
| CN111951207A (zh) * | 2020-08-25 | 2020-11-17 | 福州大学 | 基于深度增强学习和语义损失的图像质量增强方法 |
| CN111951207B (zh) * | 2020-08-25 | 2022-06-14 | 福州大学 | 基于深度增强学习和语义损失的图像质量增强方法 |
| WO2022110687A1 (zh) * | 2020-11-24 | 2022-06-02 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备以及可读存储介质 |
| CN114202483A (zh) * | 2021-12-15 | 2022-03-18 | 重庆大学 | 一种基于改进的加性lee滤波磨皮方法 |
| CN114202483B (zh) * | 2021-12-15 | 2024-05-14 | 重庆大学 | 一种基于改进的加性lee滤波磨皮方法 |
| CN116245754A (zh) * | 2022-12-29 | 2023-06-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN116245754B (zh) * | 2022-12-29 | 2024-01-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232670B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232670A (zh) | 一种基于高低频分离的图像视觉效果增强的方法 | |
| CN105654436B (zh) | 一种基于前景背景分离的背光图像增强去噪方法 | |
| WO2018214671A1 (zh) | 一种失真图像的去失真方法、装置及电子设备 | |
| CN106683080B (zh) | 一种视网膜眼底图像预处理方法 | |
| CN103295191A (zh) | 多尺度视觉自适应图像增强方法及评价方法 | |
| Shi et al. | Low-light image enhancement algorithm based on retinex and generative adversarial network | |
| CN110503617B (zh) | 一种基于高、低频信息融合的水下图像增强方法 | |
| CN106558031B (zh) | 一种基于成像模型的彩色眼底图的图像增强方法 | |
| CN109151475A (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| CN111223110B (zh) | 一种显微图像增强方法、装置及计算机设备 | |
| CN106651817A (zh) | 一种基于非抽样Contourlet的图像增强方法 | |
| CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
| CN112330613A (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
| CN110264423A (zh) | 一种基于全卷积网络的图像视觉效果增强的方法 | |
| CN113870143A (zh) | 一种配电线路巡检图像增强方法及系统 | |
| Hmue et al. | Image enhancement and quality assessment methods in turbid water: A review article | |
| CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
| Wharton et al. | Human visual system based multi-histogram equalization for non-uniform illumination and shoadow correction | |
| CN110415816B (zh) | 一种基于迁移学习的皮肤病临床图像多分类方法 | |
| Srigowri | Enhancing unpaired underwater images with cycle consistent network | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| Li et al. | A fast image dehazing algorithm for highway tunnel based on artificial multi-exposure image fusion | |
| CN111354048B (zh) | 一种面向相机获取图片的质量评价方法和装置 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN114549386A (zh) | 一种基于自适应光照一致性的多曝光图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |