CN110232671A - 一种基于图像调性的图像视觉效果增强的方法 - Google Patents

一种基于图像调性的图像视觉效果增强的方法 Download PDF

Info

Publication number
CN110232671A
CN110232671A CN201910534031.8A CN201910534031A CN110232671A CN 110232671 A CN110232671 A CN 110232671A CN 201910534031 A CN201910534031 A CN 201910534031A CN 110232671 A CN110232671 A CN 110232671A
Authority
CN
China
Prior art keywords
image
original image
original
network model
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910534031.8A
Other languages
English (en)
Other versions
CN110232671B (zh
Inventor
杨梦宁
徐忠
涂波宇
李小斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Mihong Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910534031.8A priority Critical patent/CN110232671B/zh
Publication of CN110232671A publication Critical patent/CN110232671A/zh
Application granted granted Critical
Publication of CN110232671B publication Critical patent/CN110232671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像调性的图像视觉效果增强的方法，步骤包括：S1采集超清图像，采集的所有高清图像构成原始图像集合；S2根据全局和局部曝光原理，对上述原始图像分为高调、中调和低调三类；S3对原始图像进行后期处理增强视觉效果，得到处理后的高调图像集合；S4将同一调性的原始图像和对应的经过后期处理的图像构成的图像序列作为输入，对网络进行训练，最终得到三个模型；S5将待处理图像先进行调性判断，然后再输入与该待处理图像调性相同的模型中进行处理，得到视觉效果增强的图像。本发明方法简单有效，实验结果表明当把图像基于调性分类后，再建立模型处理，得到的结果图像效果更好。

Description

一种基于图像调性的图像视觉效果增强的方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于图像调性的图像视觉效果增强的方法。
背景技术
随着经济社会不断发展，科技不断进步，图像获取和存储的成本不断降低，使用相机来记录生活中美好的瞬间已经成为人们保存记忆的一种重要方式。数字图像及其处理已经慢慢渗透到我们生活和工作的各个角落，其中图像增强是数字图像处理的重要分支，其目的主要是针对给定图像的应用场合，改善图像的视觉效果。
近年来，不少人将深度学习运用于图像领域，在图像增强方面取得了不少的成功，如TaoL,Zhu C,Xiang G提出了一种基于CNN的低亮度图像增强方法，运用残差思想设计了的LLCNN神经网络来利用多尺度特征映射，进而避免了梯度消失问题，使用SSIM Loss来对网络进行训练，实验结果表明可以自适应地增强微光图像的对比度。
在对图像进行视觉增强过程中，我们发现，人眼对于亮度的敏感程度是大于对比度和色彩的，几乎所有进行视觉增强的图像都是进行了亮度的改变。但是，不同图像对照片亮度提升程度的要求不同，如较暗的图像需要更亮，较亮的图像只需要提升一点亮度甚至降低亮度。因此，上述的方法虽然也能实现图像的视觉效果增强，但都存在一个缺点，即算法模型不能很好的适应每张图像对亮度的需求。通过专业修图师的评比与实验结果数据的统计评估，如果将所有调性的图片都混在一起训练，发现中调性的图像处理有非常好的效果，而对于高调性与低调性的图片普遍存在处理效果较差的情况，如对高调照片来说，会使得图像变得过亮；对低调照片来说，照片会曝光不自然；甚至有些照片会出现偏色的现象。
发明内容
针对现有技术存在的上述问题，本发明的目的是提供一种可以根据不同亮度需求增强图像视觉效果的方法。
为实现上述目的，本发明采用如下技术方案：一种基于图像调性的图像视觉效果增强的方法，步骤包括：
S1：采集原始图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；
S2：根据全局和局部曝光原理，对上述原始图像分为高调、中调和低调三类，所有高调原始图像构成高调原始图像集合1，记为l＝{l1，l2，l3，...，lc}，共c张高调原始图像，所有中调原始图像构成中调原始图像集合m，记为m＝{m1，m2，m3，...，mb}，共b张中调原始图像，所有低调原始图像构成低调原始图像集合d，记为d＝{d1，d2，d3，...，da}，共a张低调原始图像，其中a+b+c≤n；
S3：在不对图像构图进行修改的基础上，对S2高调原始图像集合中的所有图像进行后期处理增强视觉效果，得到处理后的高调图像集合L，记为L＝{L1，L2，L3，...，Lc}；
对S2中调原始图像集合中的所有图像进行预处理增强视觉效果，得到处理后的中调图像集合M，记为M＝{M1，M2，M3，...，Mb}；
对S2低调原始图像集合中的所有图像进行预处理增强视觉效果，得到处理后的低调图像集合D，记为D＝{D1，D2，D3，...，Da}；
S4：建立基于全卷积的上下文聚合网络模型，所述上下文聚合网络模型训练过程中，将原始高调原始图像和对应的经过后期处理的高调图像构成的图像序列{<l1，L1>，<l2，L2>，...，<lc，Lc>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的高调图像处理网络模型；
将原始中调原始图像和对应的经过后期处理的中调图像构成的图像序列{<m1，M1>，<m2，M2>，...，<mb，Mb>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的中调图像处理网络模型；
将原始低调原始图像和对应的经过后期处理的低调图像构成的图像序列{<d1，D1>，<d2，D2>，...，<da，Da>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的低调图像处理网络模型；
S5：将待处理图像先采用S2中的方法进行调性判断，然后再输入与该待处理图像调性相同的上下文聚合网络模型中进行处理，得到视觉效果增强的图像。
作为改进，所述S2中的分类过程如下：
根据全局曝光检测逻辑，计算原始图像的灰度均值，如式(1)所示：
其中，L和W分别为原始图像的长和宽，I(i，j)是原始图像在(i，j)处像素的灰度值，Mean是原始图像的灰度平均值；
将所有原始图像集合x中的所有原始图像利用公式(1)进行计算，若Mean值在179-230之间则认为该原始图像为高调原始图像，若Mean值在78-178之间则认为该原始图像为中调原始图像，若Mean值在26-77之间则认为该原始图像为低调原始图像。
作为改进，所述S2中的分类过程还包括如下步骤：
根据局部曝光逻辑和灰度直方图的分布，统计每张原始图像暗和亮的像素点个数并算出它们的比值，如式(2)所示：
其中，L和W分别为原始图像的长和宽，I(i,j)是原始图像在(i,j)处像素的灰度值；
灰度值I(i,j)在26-128之间的则认为该像素点为暗，灰度值I(i,j)在129-230之间则认为该像素点为亮；
统计暗和亮的像素点个数，并将它们相除，得到暗亮像素个数的比值；
将所有原始图像集合x中的所有原始图像利用公式(2)计算，若满足Mean在179-230之间且DLratio小于0.4，则该原始图像属于亮调原始图像，也就是高调原始图像；
若满足Mean在78-178之间且DLratio大于0.4并小于2.3，则该原始图像属于中调原始图像；
若满足Mean在26-77之间且DLratio大于2.3，则该原始图像属于暗调图像，也就是低调原始图像。
作为改进，所述S3中后期处理是指对超清图像进行色彩，饱和度，对比度亮度调整操作。
作为改进，如果S1采集的超清图像为超清人像，则所述S3中后期处理是指，对超清图像进行色彩，饱和度，对比度亮度及磨皮调整操作。
作为改进，步骤S4所建立的基于全卷积的上下文聚合网络模型如下：
设该上下文聚合网络模型共有e层，记该上下文聚合网络模型为{L0,L1,…,Le}，其中第一层L0和最后一层Le的维度均为q×p×3，第一层L0表示输入图像，最后一层Le表示输出图像，q×p表示分辨率；
每个中间层Ls维度为q×p×w，1≤s≤e-1，w是每个中间层的通道数，中间层Ls的内容根据前一层Ls-1的计算得出，计算如式(3)所示：
其中表示第s层的第i个通道，表示第s层的第i个偏置量，表示第s层的第i个卷积核的第j个通道；运算符表示指空洞率为rs的空洞卷积，随深度增加，rs＝2s -1，此处，1≤s≤e-2，对于Le-1层，rs＝1，对于输出层Le，使用3个1×1卷积核，将最终层投影到RGB颜色空间；
Φ是LReLU激活函数，如式(4)所示，
LReLU(x)＝max(αx，x)，α＝0.2； (4)；
其中max是取最大值的函数；
Ψs是自适应归一化函数，如式(5)所示：
Ψs(x)＝λsx+μsBN(x) (5)；
其中λs，μs∈R，是通过神经网络的反向传播进行学习的权重；BN则是指批标准化；
向所述上下文聚合网络模型中输入图像序列，即未经过后期处理的原图像和对应的经过后期处理的图像，输入图像序列遍历原始图像集合和后期处理的图像集合，所述上下文聚合网络模型根据损失函数进行反向传播对上下文聚合网络模型的参数进行更新，设所述上下文聚合网络模型更新次数为T，损失函数如式(6)所示：
其中xt表示指输入到网络模型的未经过后期处理的原图像，Xt是指经过专业修图师后期处理的目标图像，且xt和Xt的分辨率相同；Nt是图像xt的像素个数；F(xt)是指经过所建立的上下文聚合网络模型而得到的增强图像；
当输入图像序列遍历原始高调原始图像和对应的经过后期处理的高调图像构成的图像序列{<l1，L1>，<l2，L2>，...，<lc，Lc>}，即xt∈l，t＝1，2，...，c，Xt∈L，t＝1，2，...，c，则通过上述方法得到的上下文聚合网络模型为高调图像处理网络模型；
当输入图像序列遍历原始中调原始图像和对应的经过后期处理的中调图像构成的图像序列{<m1，M1>，<m2，M2>，...，<mb，Mb>}xt∈m，t＝1，2，...，b，即Xt∈M，t＝1，2，...，b，则通过上述方法得到的上下文聚合网络模型为中调图像处理网络模型；
当输入图像序列遍历原始低调原始图像和对应的经过后期处理的低调图像构成的图像序列{<d1，D1>，<d2，D2>，...，<da，Da>}，即xt∈d，t＝1，2，...，a，Xt∈D，t＝1，2，...，a，则通过上述方法得到的上下文聚合网络模型为低调图像处理网络模型。
相对于现有技术，本发明至少具有如下优点：
本发明提供的方法简单有效，在图像数据预处理的时候，根据图像的曝光程度将图像分为高调、中调和低调三类，再在此基础之上，对图片进行图像视觉增强操作。实验结果表明当把图像基于调性分类后，再将每种调性的原始图像和目标图像分别输入到网络进行分别学习，同时也对测试图像进行调性判断，再使用与之相对应的模型，因此而得到的结果图比不分调性，把所有调性图像混合进行学习的模型得到的结果图效果更好。
附图说明
图1是本发明方法的流程简图。
图2是本发明方法所用到的CAN网络主要架构。
图3、图4、图5均是使用本发明方法与不使用本发明方法的实验结果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。
本发明用于图像数据预处理，根据图像本身的曝光程度将图像进行分类。本发明根据全局曝光原理和局部曝光原理将图像分为三个类别：高调图像、中调图像和低调图像。分类之后分别将不同调性类别的原始图像和目标图像对输入到各自的CAN网络中进行学习，得到三个不同的模型(模型参数不同)，网络架构参见附图2。测试时，也要将测试的图像进行调性判断，确保使用的模型和测试的图像对应，再使用相应的模型对判断后的图像进行测试。
参见图1和图2，图1是本发明方法的流程简图，图2是本发明方法所使用的网络架构，本发明方法使用的网络架构共9层。第一层和倒数第二层和普通卷积一样，卷积核是3x3，第二层至倒数第三层是用的空洞卷积，最后一层是用1x1卷积核，直接线性的将最终层投影到RGB颜色空间，本发明方法使用的网络共9层。
一种基于图像调性的图像视觉效果增强的方法，其特征在于，步骤包括：
S1：采集原始图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1，x2，x3，...，xn}；此处的原始图像可以是照相机拍摄的图像；
S2：根据全局和局部曝光原理，对上述原始图像分为高调、中调和低调三类，所有高调原始图像构成高调原始图像集合1，记为l＝{l1，l2，l3，...，lc}，共c张高调原始图像，所有中调原始图像构成中调原始图像集合m，记为m＝{m1，m2，m3，...，mb}，共b张中调原始图像，所有低调原始图像构成低调原始图像集合d，记为d＝{d1，d2，d3，...，da}，共a张低调原始图像，其中a+b+c≤n；
所述S2中的分类过程如下：
根据全局曝光检测逻辑，计算原始图像的灰度均值，如式(1)所示：
其中，L和W分别为原始图像的长和宽，I(i，j)是原始图像在(i，j)处像素的灰度值，Mean是原始图像的灰度平均值；
将所有原始图像集合x中的所有原始图像利用公式(1)进行计算，若Mean值在179-230之间则认为该原始图像为高调原始图像，若Mean值在78-178之间则认为该原始图像为中调原始图像，若Mean值在26-77之间则认为该原始图像为低调原始图像。
为了更准确的分来，还可以在上述分类后进行再分类，所述S2中的分类过程还包括如下步骤：
根据局部曝光逻辑和灰度直方图的分布，统计每张原始图像暗和亮的像素点个数并算出它们的比值，如式(2)所示：
其中，L和W分别为原始图像的长和宽，I(i，j)是原始图像在(i，j)处像素的灰度值；
灰度值I(i，j)在26-128之间的则认为该像素点为暗，灰度值I(i，j)在129-230之间则认为该像素点为亮；
统计暗和亮的像素点个数，并将它们相除，得到暗亮像素个数的比值；
将所有原始图像集合x中的所有原始图像利用公式(2)计算，若满足Mean在179-230之间且DLratio小于0.4，则该原始图像属于亮调原始图像，也就是高调原始图像；
若满足Mean在78-178之间且DLratio大于0.4并小于2.3，则该原始图像属于中调原始图像；
若满足Mean在26-77之间且DLratio大于2.3，则该原始图像属于暗调图像，也就是低调原始图像。
S3：在不对图像构图进行修改的基础上，对S2高调原始图像集合中的所有图像进行后期处理增强视觉效果，得到处理后的高调图像集合L，记为L＝{L1，L2，L3，...，Lc}；
对S2中调原始图像集合中的所有图像进行预处理增强视觉效果，得到处理后的中调图像集合M，记为M＝{M1，M2，M3，...，Mb}；
对S2低调原始图像集合中的所有图像进行预处理增强视觉效果，得到处理后的低调图像集合D，记为D＝{D1，D2，D3，...，Da}；
作为改进，所述S3中后期处理是指对超清图像进行色彩，饱和度，对比度亮度调整操作。如果S1采集的超清图像为超清人像，则所述S3中后期处理是指，对超清图像进行色彩，饱和度，对比度亮度及磨皮调整操作。
S4：建立基于全卷积的上下文聚合网络模型，所述上下文聚合网络模型训练过程中，将原始高调原始图像和对应的经过后期处理的高调图像构成的图像序列{<l1，L1>，<l2，L2>，...，<lc，Lc>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的高调图像处理网络模型；
将原始中调原始图像和对应的经过后期处理的中调图像构成的图像序列{<m1，M1>，<m2，M2>，...，<mb，Mb>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的中调图像处理网络模型；
将原始低调原始图像和对应的经过后期处理的低调图像构成的图像序列{<d1，D1>，<d2，D2>，...，<da，Da>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的低调图像处理网络模型；
全卷积神经网络——Fully Convolutional Networks(FCN)架构，是指将传统CNN中的全连接层转化成卷积层，使得所有的层都是卷积层，故称为全卷积网络。这种网络的好处之一是可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有同样的尺寸，即可以跨分辨率训练和测试图片。在全卷积网络之上，将其中的卷积操作替换为空洞卷积。使用空洞卷积的优点主要是：卷积核参数个数没变，即意味着计算量没变；感受野大大增加，使得能更好的学习到全局信息。提出空洞卷积是为了替代池化层，因为池化层会损失信息，降低精度；不加池化层又会使感受视野变小，学不到全局特征；若去掉池化层，扩大卷积核又势必导致计算上的灾难，因此使用空洞卷积就是最好的选择。
具体地，所述步骤S4所建立的基于全卷积的上下文聚合网络模型如下：
设该上下文聚合网络模型共有e层，记该上下文聚合网络模型为{L0，L1，...，Le}，其中第一层L0和最后一层Le的维度均为q×p×3，第一层L0表示输入图像，最后一层Le表示输出图像，q×p表示分辨率；
每个中间层Ls维度为q×p×w，1≤s≤e-1，w是每个中间层的通道数，中间层Ls的内容根据前一层Ls-1的计算得出，计算如式(3)所示：
其中表示第s层的第i个通道，表示第s层的第i个偏置量，表示第s层的第i个卷积核的第j个通道；运算符表示指空洞率为rs的空洞卷积，随深度增加，rs＝2s-1，此处，1≤s≤e-2，对于Le-1层，rs＝1，对于输出层Le，使用3个1×1卷积核，将最终层投影到RGB颜色空间；
Φ是LReLU激活函数，如式(4)所示，
LReLU(x)＝max(αx，x)，α＝0.2； (4)；
其中max是取最大值的函数；
Ψs是自适应归一化函数，如式(5)所示：
Ψs(x)＝λsx+μsBN(x) (5)；
其中λs，μs∈R，是通过神经网络的反向传播进行学习的权重；BN则是指批标准化；
向所述上下文聚合网络模型中输入图像序列，即未经过后期处理的原图像和对应的经过后期处理的图像，输入图片序列遍历原始图像集合(高调原始图像集合1或中调原始图像集合m或低调原始图像集合d)和后期处理的图像集合(处理后的高调图像集合L或中调图像集合M或低调图像集合D)，所述上下文聚合网络模型根据损失函数进行反向传播对上下文聚合网络模型的参数进行更新，设所述上下文聚合网络模型更新次数为T，上下文聚合网络模型开始训练时，需对上下文聚合网络模型的参数赋初始值，通常该初始值即为经验值。为了尽可能的使训练出的模型效果好且不至于发生过拟合，发明人经过多次试验和数据分析，发现上下文聚合网络模型的参数更新次数T＝180*n，即输入n对图像进行训练，每输入一个图像序列更新一次，然后再循环180次，并将学习率设置为0.0001时。经过T次更新后建立的上下文聚合网络模型处理图像的视觉效果增强已经非常好。
所述上下文聚合网络模型的参数是指λs，μs和损失函数如式(6)所示：
其中xt表示指输入到网络模型的未经过后期处理的原图像，Xt是指经过专业修图师后期处理的目标图像，且xt和Xt的分辨率相同；Nt是图像xt的像素个数；F(xt)是指经过所建立的上下文聚合网络模型而得到的增强图像；
当输入图像序列遍历原始高调原始图像和对应的经过后期处理的高调图像构成的图像序列{<l1，L1>，<l2，L2>，...，<lc，Lc>}，即xt∈l，t＝1，2，...，c，Xt∈L，t＝1，2，...，c，则通过上述方法得到上下文聚合网络模型为高调图像处理网络模型；
当输入图像序列遍历原始中调原始图像和对应的经过后期处理的中调图像构成的图像序列{<m1，M1>，<m2，M2>，...，<mb，Mb>}xt∈m，t＝1，2，...，b，即Xt∈M，t＝1，2，...，b，则通过上述方法得到上下文聚合网络模型为中调图像处理网络模型；
当输入图像序列遍历原始低调原始图像和对应的经过后期处理的低调图像构成的图像序列{<d1，D1>，<d2，D2>，...，<da，Da>}，即xt∈d，t＝1，2，...，a，Xt∈D，t＝1，2，...，a，则通过上述方法得到上下文聚合网络模型为低调图像处理网络模型。
S5：将待处理图像先采用S2中的方法进行调性判断，然后再输入与该待处理图像调性相同的上下文聚合网络模型中进行处理，得到视觉效果增强的图像。具体地，采用采用S2中的方法进行调性判断，得到该待处理图像的调性。若该待处理图像为高调图像，则将该待处理图像输入高调图像处理网络模型进行处理；若该待处理图像为中调图像，则将该待处理图像输入中调图像处理网络模型进行处理；若该待处理图像为低调图像，则将该待处理图像输入低调图像处理网络模型进行处理。
本发明根据全局和局部曝光原理将原始图像分为高调、中调和低调三类，再在此基础之上，对原始图像进行视觉增强操作。同一调性的原始图像和对应经过后期处理的目标图像形成相应的序列：即{<d1|D1>，<d2|D2>，<d3|D3>，...，<da|Da>}，{<m1|M1>，<m2|M2>，<m3|M3>，...，<ma|Ma>}，{<l1|L1>，<l2|L2>，<l3|L3)，...，<la|La>}，然后分别作为三个网络的输入，对它们进行分别训练，最终得到三个模型：低调照片所训练出来的低调图像处理网络模型、中调照片所训练出来的中调图像处理网络模型以及高调照片所训练出来的高调图像处理网络模型。使用时，将未经过后期处理的其它图像首先进行调性判断，再将其输入到与其调性相同的模型中，得到经过网络处理的图像。
实验测试：
实验数据集
实验数据集为3000张超高清人像图，其中低调、中调和高调图像均为1000张，以及这3000张超高清人像图对应的经过专业修图师后期处理过的3000张图像.用另外300张进行测试。分辨率均是4K及以上的图像。
评估指标
本发明使用图像增强常用的两种客观评价指标：峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和结构相似性SSIM(Structural similar index)。
峰值信噪比PSNR(dB)是基于像素域的评价方法，该方法计算简单，是目前最普遍和使用最为广泛的一种图像客观评价指标。它是基于对应像素点间的误差，即基于误差敏感的图像质量评价，计算公式如(a)所示：
其中，MSE表示待评价图像X和所参考的目标图像Y的均方误差，也是反映估计量与被估计量之间差异程度的一种度量，计算公式如(b)所示：
其中，f′(i，j)是待评价图像，f(i，j)是所参考的目标图像，M和N分别是图像的长和宽。(a)式中，n为每像素的比特数，一般取8，即像素灰阶数为256。PSNR的单位是dB，数值越大表示失真越小。
上面是针对灰度图像的计算方法，如果是彩色图像，通常有三种方法来计算：1.分别计算RGB三个通道的PSNR，然后取平均值；2.计算RGB三通道的MSE，然后取平均值；3.将图片转化为YCbCr格式，然后只计算Y分量也就是亮度分量的PSNR。其中，第二和第三种方法比较常见，本发明方法使用第一种方法。
结构相似性SSIM，也是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。计算公式如(c)所示
SSIM(x，y)＝[l(x，y)αc(x，y)βs(x，y)γ] (c)；
其中，l(x，y)是亮度比较，c(x，y)是对比度比较，s(x，y)是结构比较，他们的计算公式如(d)、(e)、(f)所示：
其中，x是目标图片，y是测试图片，μx和μy分别代表x和y的平均值，σx和σy分别代表x,y的标准差，σxy代表x和y的协方差。c1，c2，c3分别为常数，避免分母为0带来的系统错误。一般的，我们会把(c)中α，β，γ分别设置为1，c3＝c2/2，此时SSIM简化为式(g)：
SSIM是一个0到1之间的数，越大表示输出图像和无失真图像的差距越小。
实验结果与分析
本发明使用3000张超高清人像图，其中低调、中调和高调图像各为1000张，以及这3000张超高清人像图对应的经过专业修图师后期处理过的3000张图像。将同一调性的未经过后期处理的原始图像和对应的经过后期处理的目标图像形成相应的序列，分别作为三个CAN网络的输入，对它们进行分别训练，最终得到三个模型：低调照片所训练出来的模型、中调照片所训练出来的模型以及高调照片所训练出来的模型；用另外300张进行测试。
学习率设置为0.0001，考虑到学习时间和硬件设备，将原始照片和经过后期处理的目标图片长宽各缩小3倍后输入到网络中进行学习，一共循环180次。
误差评估使用最普遍使用的PSNR和SSIM进行最终图像评估，评估通过网络得到的照片与经过专业修图师后期处理得到的目标照片之间的误差。表1是不对图像数据进行调性分类，所有3000张照片混着学习而最终得到的结果照片和分调性得到的结果照片分别与目标照片之间的PSNR对比结果，列出了其中随机十张照片的误差值以及所有测试照片的平均误差值。
表1不对图像数据进行调性分类得到的结果照片和分调性得到的结果照片分别与目标图之间的PSNR对比结果。
表1
从上表可以看到图像数据预处理时不分调性最终得到的PSNR的平均值为26.272189，而图像数据预处理时分调性最终得到的PSNR的平均值为28.76735。表明图像数据预处理时分调性，再经过网络得到的照片依然非常高清，没有失真，从像素域上判断比图像数据预处理时不分调性得到的结果更好。
表2是不对图像数据进行调性分类，所有3000张照片混着学习而最终得到的结果照片和分调性得到的结果照片分别与目标照片之间的SSIM对比结果，列出了其中随机十张照片的误差值以及所有测试照片的平均误差值。
表2不对图像数据进行调性分类得到的结果照片和分调性得到的结果照片分别与目标图之间的SSIM对比结果。
表2
Imge_name SSIM1 SSIM2
000001.jpg 0.9480754 0.9504439
000035.jpg 0.9516503 0.9640737
000062.jpg 0.9662497 0.9665663
000100.jpg 0.9583147 0.9700146
000128.jpg 0.981989 0.9833286
000156.jpg 0.9767682 0.9788408
000184.jpg 0.953444 0.9737097
000200.jpg 0.9803814 0.9804788
000243.jpg 0.9724929 0.9756984
000276.jpg 0.9227885 0.969878
…… …… ……
平均 0.9628448 0.9718473
从上表可以看到图像数据预处理时不分调性最终得到的SSIM的平均值为0.962845，而图像数据预处理时分调性最终得到的SSIM的平均值为0.972315。表明图像数据预处理时分调性，再经过网络得到的照片从像素域上判断比图像数据预处理时不分调性得到的结果更好。
由于PSNR和SSIM都是计算图像之间的数值差异，几乎没有考虑人类感知因素和图像中的视觉冗余，即人眼对图像的失真存在一定的阈值，当失真量低于阈值时，人类并不能感知到，于是导致图像主客观评价结果差异较大。因此，附图3、附图4和附图5中给出了原图，分调性结果图和不分调性结果图的对比，其中原图是指未经修饰，直接由照相机成像得到的原始照片，分调性结果图是指经过数据预处理时使用了本发明方法对图像进行调性分类，然后在使用网络学习，测试时也对测试图片进行调性判断，再选择使用相应的模型而得到的结果图；不分调性结果图是指不使用本发明方法对图像进行调性分类，直接将所有原图和对应的目标图作为网络输入得到的经过网络修饰的照片。
通过专业修图师的评比与实验结果数据的统计评估，如果图像预处理时不使用本发明方法，将所有调性的图片都混在一起训练，这样对于中调性的图像处理有非常好的效果，而对于高调性与低调性的图片普遍存在处理效果较差，会出现明暗效果不理想的情况,如对高调照片来说，会使得图片变得过亮；对低调照片来说，照片会曝光不自然；而且也会出现偏色的情况。因此，附图3、附图4和附图5中给出了部分原图，分调性结果图和不分调性结果图的对比图。
通过图3图4和图5可以看出通过本发明方法进行处理后得到的结果图与不分调性直接处理得到的图像比，本发明方法得到的结果图视觉效果更好。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于图像调性的图像视觉效果增强的方法，其特征在于，步骤包括：
S1：采集原始图像，采集的所有原始图像构成原始图像集合x，记为x＝{x1,x2,x3,…,xn}；
S2：根据全局和局部曝光原理，对上述原始图像分为高调、中调和低调三类，所有高调原始图像构成高调原始图像集合l，记为l＝{l1,l2,l3,…,lc}，共c张高调原始图像，所有中调原始图像构成中调原始图像集合m，记为m＝{m1,m2,m3,…,mb}，共b张中调原始图像，所有低调原始图像构成低调原始图像集合d,记为d＝{d1,d2,d3,…,da}，共a张低调原始图像，其中a+b+c≤n；
S3：在不对图像构图进行修改的基础上，对S2高调原始图像集合中的所有图像进行后期处理增强视觉效果，得到处理后的高调图像集合L，记为L＝{L1,L2,L3,…,Lc}；
对S2中调原始图像集合中的所有图像进行预处理增强视觉效果，得到处理后的中调图像集合M，记为M＝{M1,M2,M3,…,Mb}；
对S2低调原始图像集合中的所有图像进行预处理增强视觉效果，得到处理后的低调图像集合D，记为D＝{D1,D2,D3,…,Da}；
S4：建立基于全卷积的上下文聚合网络模型，所述上下文聚合网络模型训练过程中，将原始高调原始图像和对应的经过后期处理的高调图像构成的图像序列{<l1,L1>,<l2,L2>,…,<Lc,Lc>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的高调图像处理网络模型；
将原始中调原始图像和对应的经过后期处理的中调图像构成的图像序列{<m1,M1>,<m2,M2>,…,<mb,Mb>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的中调图像处理网络模型；
将原始低调原始图像和对应的经过后期处理的低调图像构成的图像序列{<d1,D1>,<d2,D2>,…,<da,Da>}作为输入，采用监督训练方式，更新上下文聚合网络模型中的参数，得到训练后的低调图像处理网络模型；
S5：将待处理图像先采用S2中的方法进行调性判断，然后再输入与该待处理图像调性相同的上下文聚合网络模型中进行处理，得到视觉效果增强的图像。
2.如权利要求1所述的基于图像调性的图像视觉效果增强的方法，其特征在于，所述S2中的分类过程如下：
根据全局曝光检测逻辑，计算原始图像的灰度均值，如式(1)所示：
其中，L和W分别为原始图像的长和宽，I(i,j)是原始图像在(i,j)处像素的灰度值，Mean是原始图像的灰度平均值；
将所有原始图像集合x中的所有原始图像利用公式(1)进行计算，若Mean值在179-230之间则认为该原始图像为高调原始图像，若Mean值在78-178之间则认为该原始图像为中调原始图像，若Mean值在26-77之间则认为该原始图像为低调原始图像。
3.如权利要求2所述的基于图像调性的图像视觉效果增强的方法，其特征在于，所述S2中的分类过程还包括如下步骤：
根据局部曝光逻辑和灰度直方图的分布，统计每张原始图像暗和亮的像素点个数并算出它们的比值，如式(2)所示：
其中，L和W分别为原始图像的长和宽，I(i,j)是原始图像在(i,j)处像素的灰度值；
灰度值I(i,j)在26-128之间的则认为该像素点为暗，灰度值I(i,j)在129-230之间则认为该像素点为亮；
统计暗和亮的像素点个数，并将它们相除，得到暗亮像素个数的比值；
将所有原始图像集合x中的所有原始图像利用公式(2)计算，若满足Mean在179-230之间且DLratio小于0.4，则该原始图像属于亮调原始图像，也就是高调原始图像；
若满足Mean在78-178之间且DLratio大于0.4并小于2.3，则该原始图像属于中调原始图像；
若满足Mean在26-77之间且DLratio大于2.3，则该原始图像属于暗调图像，也就是低调原始图像。
4.如权利要求1-3任一项所述的基于图像调性的图像视觉效果增强的方法，其特征在于，所述S3中后期处理是指对超清图像进行色彩，饱和度，对比度亮度调整操作。
5.如权利要求1-3任一项所述的基于图像调性的图像视觉效果增强的方法，其特征在于，如果S1采集的超清图像为超清人像，则所述S3中后期处理是指，对超清图像进行色彩，饱和度，对比度亮度及磨皮调整操作。
6.如权利要求5所述的基于图像调性的图像视觉效果增强的方法，其特征在于，步骤S4所建立的基于全卷积的上下文聚合网络模型如下：
设该上下文聚合网络模型共有e层，记该上下文聚合网络模型为{L0,L1,…,Le}，其中第一层L0和最后一层Le的维度均为q×p×3，第一层L0表示输入图像，最后一层Le表示输出图像，q×p表示分辨率；
每个中间层Ls维度为q×p×w，1≤s≤e-1，w是每个中间层的通道数，中间层Ls的内容根据前一层Ls-1的计算得出，计算如式(3)所示：
其中表示第s层的第i个通道，表示第s层的第i个偏置量，表示第s层的第i个卷积核的第j个通道；运算符表示指空洞率为rs的空洞卷积，随深度增加，rs＝2s-1,此处，1≤s≤e-2，对于Le-1层，rs＝1，对于输出层Le，使用3个1×1卷积核，将最终层投影到RGB颜色空间；
Φ是LReLU激活函数，如式(4)所示，
LReLU(x)＝max(αx,x),α＝0.2； (4)；
其中max是取最大值的函数；
Ψs是自适应归一化函数，如式(5)所示：
Ψs(x)＝λsx+μsBN(x) (5)；
其中λs,μs∈R，是通过神经网络的反向传播进行学习的权重；BN则是指批标准化；
向所述上下文聚合网络模型中输入图像序列，即未经过后期处理的原图像和对应的经过后期处理的图像，输入图像序列遍历原始图像集合和后期处理的图像集合，所述上下文聚合网络模型根据损失函数进行反向传播对上下文聚合网络模型的参数进行更新，设所述上下文聚合网络模型更新次数为T，损失函数如式(6)所示：
其中xt表示指输入到网络模型的未经过后期处理的原图像，Xt是指经过专业修图师后期处理的目标图像，且xt和Xt的分辨率相同；Nt是图像xt的像素个数；F(xt)是指经过所建立的上下文聚合网络模型而得到的增强图像；
当输入图像序列遍历原始高调原始图像和对应的经过后期处理的高调图像构成的图像序列{<l1,L1>,<l2,L2>,…,<lc,Lc>}，即xt∈l,t＝1,2,…,c,Xt∈L,t＝1,2,…,c,则通过上述方法得到的上下文聚合网络模型为高调图像处理网络模型；
当输入图像序列遍历原始中调原始图像和对应的经过后期处理的中调图像构成的图像序列{<m1,M1>,<m2,M2>,…,<mb,Mb>}xt∈m,t＝1,2,…,b,即Xt∈M,t＝1,2,…,b,则通过上述方法得到的上下文聚合网络模型为中调图像处理网络模型；
当输入图像序列遍历原始低调原始图像和对应的经过后期处理的低调图像构成的图像序列{<d1,D1>,<d2,D2>,…,<da,Da>}，即xt∈d,t＝1,2,…,a,Xt∈D,t＝1,2,…,a,则通过上述方法得到的上下文聚合网络模型为低调图像处理网络模型。
CN201910534031.8A 2019-06-19 2019-06-19 一种基于图像调性的图像视觉效果增强的方法 Active CN110232671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910534031.8A CN110232671B (zh) 2019-06-19 2019-06-19 一种基于图像调性的图像视觉效果增强的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910534031.8A CN110232671B (zh) 2019-06-19 2019-06-19 一种基于图像调性的图像视觉效果增强的方法

Publications (2)

Publication Number Publication Date
CN110232671A true CN110232671A (zh) 2019-09-13
CN110232671B CN110232671B (zh) 2023-05-16

Family

ID=67856353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910534031.8A Active CN110232671B (zh) 2019-06-19 2019-06-19 一种基于图像调性的图像视觉效果增强的方法

Country Status (1)

Country Link
CN (1) CN110232671B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101669A (zh) * 2007-07-13 2008-01-09 天津大学 根据边缘和亮度特征进行自适应调整的图像增强方法
CN103020902A (zh) * 2011-09-20 2013-04-03 富士通株式会社 用于去雾图像的曝光增强方法和装置
CN105184748A (zh) * 2015-09-17 2015-12-23 电子科技大学 图像比特深度增强方法
CN106355593A (zh) * 2016-08-31 2017-01-25 上海交通大学 一种基于马尔科夫随机场的素描画生成方法
CN107172364A (zh) * 2017-04-28 2017-09-15 努比亚技术有限公司 一种图像曝光补偿方法、装置和计算机可读存储介质
CN107292830A (zh) * 2016-12-28 2017-10-24 首都师范大学 低照度图像增强及评价方法
CN107945107A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108510560A (zh) * 2018-04-11 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109191389A (zh) * 2018-07-31 2019-01-11 浙江杭钢健康产业投资管理有限公司 一种x光图像自适应局部增强方法
US20190043178A1 (en) * 2018-07-10 2019-02-07 Intel Corporation Low-light imaging using trained convolutional neural networks
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN109740586A (zh) * 2018-12-19 2019-05-10 南京华科和鼎信息科技有限公司 一种防眩光证件自动阅读系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101669A (zh) * 2007-07-13 2008-01-09 天津大学 根据边缘和亮度特征进行自适应调整的图像增强方法
CN103020902A (zh) * 2011-09-20 2013-04-03 富士通株式会社 用于去雾图像的曝光增强方法和装置
CN105184748A (zh) * 2015-09-17 2015-12-23 电子科技大学 图像比特深度增强方法
CN106355593A (zh) * 2016-08-31 2017-01-25 上海交通大学 一种基于马尔科夫随机场的素描画生成方法
CN107292830A (zh) * 2016-12-28 2017-10-24 首都师范大学 低照度图像增强及评价方法
CN107172364A (zh) * 2017-04-28 2017-09-15 努比亚技术有限公司 一种图像曝光补偿方法、装置和计算机可读存储介质
CN107945107A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108510560A (zh) * 2018-04-11 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
US20190043178A1 (en) * 2018-07-10 2019-02-07 Intel Corporation Low-light imaging using trained convolutional neural networks
CN109191389A (zh) * 2018-07-31 2019-01-11 浙江杭钢健康产业投资管理有限公司 一种x光图像自适应局部增强方法
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN109740586A (zh) * 2018-12-19 2019-05-10 南京华科和鼎信息科技有限公司 一种防眩光证件自动阅读系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GREG WARD 等: "Fast, Robust Image Registration for Compositing High Dynamic Range Photographs from Hand-Held Exposures", 《JOURNAL OF GRAPHICS TOOLS》 *
YING YANG 等: "An end-to-end perceptual enhancement method for UHD portraitimages", 《IET IMAGE PROCESSING》 *
YONG-GOO SHIN 等: "Adversarial Context Aggregation Network for Low-Light Image Enhancement", 《2018 DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA)》 *
智宁 等: "基于深度融合网络的煤矿图像尘雾清晰化算法", 《煤炭学报》 *
李云伍 等: "基于改进空洞卷积神经网络的丘陵山区田间道路场景识别", 《农业工程学报》 *

Also Published As

Publication number Publication date
CN110232671B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110728633B (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
CN110232670A (zh) 一种基于高低频分离的图像视觉效果增强的方法
JP2022519469A (ja) 画像品質評価方法及び装置
US20090317017A1 (en) Image characteristic oriented tone mapping for high dynamic range images
US9336578B2 (en) Interactive tone mapping for high dynamic range video
KR20120107429A (ko) 구역 기반의 톤 매핑
US9396526B2 (en) Method for improving image quality
CN101207697B (zh) 一种融合多模糊算子的数字图像模糊增强方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN106651817A (zh) 一种基于非抽样Contourlet的图像增强方法
CN109785240A (zh) 一种低照度图像增强方法、装置及图像处理设备
CN117011563B (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
Nguyen et al. Psenet: Progressive self-enhancement network for unsupervised extreme-light image enhancement
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
Tyagi et al. Transformation of Image from Color to Gray Scale using contrast among DPCM and LMS Method
CN114202491A (zh) 一种增强光学图像的方法及系统
CN117611467A (zh) 一种能同时平衡不同区域细节和亮度的低光图像增强方法
CN110264423A (zh) 一种基于全卷积网络的图像视觉效果增强的方法
CN110232671A (zh) 一种基于图像调性的图像视觉效果增强的方法
US20230146016A1 (en) Method and apparatus for extreme-light image enhancement
Kalyan et al. A New Concatenated Method for Deep Curve Estimation Using Low Weight CNN for Low Light Image Enhancement
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
Arora et al. Enhancement of overexposed color images
Rizzi et al. Tuning of perceptual technique for digital movie color restoration
CN111354048A (zh) 一种面向相机获取图片的质量评价方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230412

Address after: Unit 2-2, Unit 3, Building 20, Huxi Garden, University City, Shapingba District, Chongqing, 401331

Applicant after: Chongqing Mihong Technology Co.,Ltd.

Address before: Unit 2-2, Unit 3, Building 20, Huxi Garden, University City, Shapingba District, Chongqing, 401331

Applicant before: Yang Mengning

GR01 Patent grant
GR01 Patent grant