CN110458765B - 基于感知保持卷积网络的图像质量增强方法 - Google Patents
基于感知保持卷积网络的图像质量增强方法 Download PDFInfo
- Publication number
- CN110458765B CN110458765B CN201910617979.XA CN201910617979A CN110458765B CN 110458765 B CN110458765 B CN 110458765B CN 201910617979 A CN201910617979 A CN 201910617979A CN 110458765 B CN110458765 B CN 110458765B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- image quality
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000008447 perception Effects 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 113
- 230000011514 reflex Effects 0.000 claims abstract description 62
- 230000002708 enhancing effect Effects 0.000 claims abstract description 41
- 230000000694 effects Effects 0.000 claims abstract description 33
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 24
- 239000011800 void material Substances 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 77
- 238000010586 diagram Methods 0.000 claims description 66
- 230000004913 activation Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 7
- 241000287196 Asthenes Species 0.000 claims description 6
- 238000004821 distillation Methods 0.000 claims description 6
- 230000009897 systematic effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- NEVVHGHXJACRQZ-OCZHUQCSSA-N (7r,8s,9s,10r,13r,14r,17s)-17-acetyl-7,14-dihydroxy-10,13-dimethyl-2,6,7,8,9,11,12,15,16,17-decahydro-1h-cyclopenta[a]phenanthren-3-one Chemical compound C([C@H]1O)C2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@]1(O)CC[C@H](C(=O)C)[C@@]1(C)CC2 NEVVHGHXJACRQZ-OCZHUQCSSA-N 0.000 description 31
- 238000004088 simulation Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于感知保持卷积网络的图像质量增强方法，解决了手机由于硬件限制造成的拍摄图像质量不如单反相机的问题。实现步骤为：收集训练使用的图像块对；使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络GT和GS；构建图像质量判别器网络D；训练图像质量增强教师网络GT和图像质量判别器网络D，结合知识蒸馏训练图像质量增强学生网络GS；使用训练好的网络进行图像增强。本发明以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野，使用知识蒸馏提升具有相同结构，规模较小的图像质量增强网络的图像增强效果，降低了计算机资源消耗，可用于移动设备的图像质量增强服务。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及手机拍摄图片的图像质量增强效果，具体是一种基于感知保持卷积网络的图像质量增强方法。可用于移动设备的图像质量增强服务。
背景技术
近年来，随着移动设备的普及以及微型相机传感器和镜头质量的不断提高，智能手机摄影变得流行起来。与此同时，人们对图像质量的需求也越来越高。如何提升手机拍摄图像质量成为现今一大难题。受限于手机的体积大小，手机的镜头以及感光芯片的大小要比单反相机的小得多，导致了手机拍摄图像的质量不如单反相机拍摄的图像。为了在不改变硬件的前提下使手机拍摄图像能达到单反相机的效果，人们提出了图像质量增强算法。该算法可以通过数字计算生成高质量的图像。由于该方法通过软件实现，不需要改变手机的拍摄设备，能搞大大节约提高图像质量的成本。该技术获得国内外学术界与商业界的极大关注和深入研究，具有重要的理论意义和应用价值。
Andrey Ignatov和Nikolay Kobyshev在文章“DSLR-Quality Photos on MobileDevices with Deep Convolutional Networks”(IEEE International Conference onComputer Vision(ICCV).2017)中提出了一种基于卷积神经网络和对抗生成网络的图像质量增强方法，该方法结合了颜色损失，纹理损失，内容损失和总变分损失来构建一个总的损失函数用于训练网络，并建立了一个由手机拍摄图片和对应由单反相机拍摄的相同内容图片的数据集，用于训练和测试用于图像质量增强的网络。该方法中的图像质量增强卷积神经网络使用了4个含有2个卷积层的残差模块，虽然图像质量增强效果显著，但是计算量过大，对一张由手机拍摄的图片进行质量增强所耗费的时间过长。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种图像质量增强质量更好，质量增强过程速度更快的基于感知保持卷积网络的图像质量增强方法，其特征在于，包括有如下步骤：
步骤1)收集训练使用的图像块对：对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪，得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块，将手机拍摄图像标签设为手机图像，将单反图像拍摄图像标签设为单反图像将手机拍摄图像块标签设为手机图像，将单反图像拍摄图像块标签设为单反图像，所有的带标签的图像块对作为训练集；
步骤2)构建图像质量增强网络：使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络；
(2a)构建层数较多的M图像质量增强教师网络GT：首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块，最后再使用两个二维卷积层，依次连接构建网络层数较多的M图像质量增强教师网络GT；
(2b)构建层数较少的N图像质量增强学生网络GS：首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块，最后再使用一个二维卷积层，依次连接构建网络层数较少的N图像质量增强教师网络GS；
步骤3)构建图像质量判别器网络：用卷积层和全连接层构建图像质量判别器网络D；
步骤4)训练图像质量增强教师网络GT，结合知识蒸馏训练图像质量增强学生网络GS：载入数据集训练图像质量增强网络和图像质量判别器网络，并采用先训练图像质量判别器D再训练图像质量增强网络的轮流迭代方式进行训练；
(4a)，训练判别器网络：训练判别器网络D时，将随机选取的标签为手机图像的手机拍摄图像的图像块和标签为单反图像的单反相机拍摄图像的图像块作为判别器网络D的输入，将对应的标签值作为训练目标；
(4b)，训练图像质量增强教师网络GT：训练图像质量增强网络GT时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GT的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GT的训练目标；
(4c)，训练图像质量增强学生网络GS：训练图像质量增强网络GS时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GS的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GS的训练目标；
(4d)，联合训练判别器网络和图像质量增强网络：采用轮流迭代的方式训练判别器网络D，图像质量增强网络GT，采用轮流迭代的方式训练判别器网络D和图像质量增强网络GS，并在训练图像质量增强网络GS时运用已训练好的图像质量增强网络GT，采用知识蒸馏联合训练；训练完毕，得到图像质量增强网络GS；
步骤5)使用训练好的网络进行图像增强：输入待增强的图像，使用训练好的图像质量增强网络GT对输入图像进行增强，得到增强处理速度较慢但图像质量增强效果相对较好的图像，使用训练好的图像质量增强网络GS对输入图像进行增强，得到增强处理速度较快但图像质量增强效果相对较差的图像，分别计算图像质量增强效果。
本发明节省了图像质量增强所需要的计算量，降低了图像质量增强算法的时间复杂度，提升了图像质量增强效果。
与现有技术相比，本发明具有以下优点：
第一，本发明提出了一种新的精简的单一图像质量增强网络，采用以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野，在限制网络参数量的同时提高了图像质量增强效果。
第二，本发明使用了知识蒸馏，先训练一个复杂的教师图像质量增强网络，再用教师图像质量增强网络协助训练一个结构较为简单的学生图像质量增强网络，最终得到的学生图像质量增强网络既有接近复杂的教师图像质量增强网络的性能，又能大幅减小图像质量增强的时间。
附图说明
图1为本发明的图像质量增强网络实现流程图；
图2为本发明图像质量增强网络中的教师网络GT的网络结构图；
图3为本发明图像质量增强网络中的学生网络GS的网络结构图；
图4为本发明图像质量判别器网络D的网络结构图；
图5为本发明与现有图像质量增强方法在400个分别由iPhone 3GS与Canon单反相机拍摄的图像对和4张分辨率为1280×720图片上的实验结果图；
图6为DPED数据集中由iPhone 3GS拍摄第7号图片；
图7为对DPED数据集中由iPhone 3GS拍摄第7号图片使用DPED图像质量增强方法增强后的图像；
图8为对DPED数据集中由iPhone 3GS拍摄第7号图片使用本发明中图像质量增强方法中图像质量增强教师网络增强后的图像；
图9为对DPED数据集中由iPhone 3GS拍摄第7号图片使用本发明中图像质量增强方法中图像质量增强学生网络增强后的图像。
具体实施方案
下面结合附图，对本发明的具体实现方法作详细描述：
实施例1
近年来，随着移动设备的普及以及微型相机传感器和镜头质量的不断提高，使用智能手机摄影可以随时随地拍摄的特点使其变得流行起来。当人们拍摄到令人满意的图像内容时，图像质量却可能不尽人意，而单反相机也远不如智能手机普及，操作也比手机麻烦。为了在不改变硬件的前提下使手机拍摄图像在拍摄后通过数字处理手段能达到单反相机的效果，人们提出了图像质量增强算法。现有的图像质量增强方法，对手机图像进行质量增强后得到的图像仍与单反相机拍摄的图像有很大差距，而且现有质量增强算法的计算量过大，导致质量增强时间过长，使用效率低。
针对现状，本发明经过研究，提出一种基于感知保持卷积网络的图像质量增强方法，参见图1，包括有如下步骤：
步骤1)收集训练使用的图像块对：对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪，得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块，共同组成图像块对，将手机拍摄图像块标签设为手机图像，将单反图像拍摄图像块标签设为单反图像，所有的带标签的图像块对作为训练集。
步骤2)构建图像质量增强网络：使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建结构基本相同但规模不同的图像质量增强网络；
(2a)构建层数较多的M图像质量增强教师网络GT：首先使用以非对称方式组合的两个一维卷积层，再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块，最后再使用两个二维卷积层，依次连接构建网络层数较多的M图像质量增强教师网络GT。
(2b)构建层数较少的N图像质量增强学生网络GS：首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块，最后再使用一个二维卷积层，依次连接构建网络层数较少的N图像质量增强教师网络GS。
本发明构建的图像质量增强网络专门设置了两个对应网络，二者结构相同，但规模不同，其中教师图像质量增强网络GT对图像的增强处理速度较慢但图像质量增强效果相对较好，学生图像质量增强网络GS对的增强处理速度较快但图像质量增强效果相对较差。
步骤3)构建图像质量判别器网络：用卷积层和全连接层构建图像质量判别器网络D。
步骤4)训练图像质量增强教师网络GT，结合知识蒸馏训练图像质量增强学生网络GS：载入数据集训练图像质量增强网络和图像质量判别器网络，并采用先训练图像质量判别器D再训练图像质量增强网络的轮流迭代方式进行训练。
(4a)，训练判别器网络：训练判别器网络D时，将随机选取的标签为手机图像的手机拍摄图像的图像块和标签为单反图像的单反相机拍摄图像的图像块作为判别器网络D的输入，将对应的标签值作为训练目标。
(4b)，训练图像质量增强教师网络GT：训练图像质量增强网络GT时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GT的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GT的训练目标。
(4c)，训练图像质量增强学生网络GS：训练图像质量增强网络GS时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GS的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GS的训练目标。
(4d)，联合训练判别器网络和图像质量增强网络：采用轮流迭代的方式训练判别器网络D，图像质量增强网络GT，采用轮流迭代的方式训练判别器网络D和图像质量增强网络GS，并在训练图像质量增强网络GS时运用已训练好的图像质量增强网络GT，采用知识蒸馏联合训练。训练完毕，得到图像质量增强网络GS。训练好的图像质量增强网络GS与训练好的图像质量增强网络GT具有相近的图像质量增强效果。
步骤5)使用训练好的网络进行图像增强：输入待增强的图像，当对增强后的图像质量要求较高时，可使用训练好的教师图像质量增强网络GT对输入图像进行增强，得到增强处理速度较慢但图像质量增强效果相对较好的图像。
当对图像增强处理速度要求较高时，使用训练好的学生图像质量增强网络GS对输入图像进行增强，得到增强处理速度较快但图像质量增强效果相对较差的图像，分别计算图像质量增强效果，并输出图像质量增强后的图像。
本发明针对现有的图像质量增强方法，提出了一种以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野，从而提升图像增强效果的图像质量增强网络，并可通过知识蒸馏提升具有相同结构，规模较小的图像质量增强网络的图像增强效果。
实施例2
基于感知保持卷积网络的图像质量增强方法同实施例1，步骤(2a)中所述的构建层数较多的M图像质量增强教师网络GT，网络结构如图2所示，具体包括：
(2a1)本例中，图像质量增强教师网络GT为一个包含8个卷积层的卷积神经网络，该网络中使用的卷积层步长均为1，该网络的第一层使用卷积核大小为1×7，卷积核个数为16，激活函数为leaky ReLU的一维卷积层，该网络的第二层使用卷积核大小为7×1，卷积核个数为16，激活函数为leaky ReLU的一维卷积层，第一个卷积层和第二个卷积层相连后对手机拍摄图像进行特征提取，得到一组特征图At。使用以非对称方式组合的两个一维卷积层，一方面节约了大量参数，加速运算并减轻了过拟合，同时增加了一层非线性扩展模型表达能力，可以处理更多、更丰富的空间特征，增加特征多样性。
(2a2)该网络的第三层和第四层为二维卷积层，第三层的卷积核大小为3×3，卷积核个数为32，对第三层的输出运用实例规范化，再使用leaky ReLU激活函数，第四层的卷积核大小为3×3，卷积核个数为16，对第四层的输出运用实例规范化，第三层与第四层两个二维卷积层构成一个残差模块，特征图At经过第三层和第四层两个卷积层输出得到一组特征图与特征图At相加得到特征图Bt。使用由卷积层构成的残差模块可以保护图像信息的完整性，简化学习目标和难度，对卷积层的输出运用实例规范化，可以提升网络的泛化能力。
(2a3)该网络的第五层和第六层为空洞卷积层，第五层空洞卷积层的卷积核大小为3×3，卷积核个数为32，对第五层的输出运用实例规范化，再使用leaky ReLU激活函数，第六层空洞卷积层的卷积核大小为3×3，卷积核个数为16，对第六层的输出运用实例规范化，第五层与第六层两个空洞卷积层构成一个残差模块，将特征图Bt经过二个空洞卷积层的输出特征图与特征图Bt相加，得到特征图Ct。使用空洞卷积层可以在不增加模型参数的情况下，扩展网络对图像的感受野。
(2a4)将该网络的两个不同的残差模块分别输出的特征图Bt与特征图Ct集合，得到32张特征图，记为特征图Dt。
(2a5)该网络的第七个卷积层使用卷积核大小为1×1，卷积核个数为16，激活函数为leaky ReLU的二维卷积层对特征图Dt进行卷积，对特征图进行压缩，得到特征图Et。本发明在减少计算量的同时可与学生图像质量增强网络GS中的特征图比较，运用知识蒸馏辅助学生图像质量增强网络GS的训练。
(2a6)该网络的第八个卷积层使用卷积核大小为3×3，卷积核个数为3，激活函数为Tanh的二维卷积层对特征图Et进行重构，得到增强后的图像。
本例中图像质量增强教师网络GT的具体参数是一种实际可行方案，其中网络中每一层卷积核大小和卷积核个数均可根据实际计算机计算效率和图像质量增强效果需求进行适当修改。
实施例3
基于感知保持卷积网络的图像质量增强方法同实施例1-2，本发明步骤(2b)中所述的构建层数较少的N图像质量增强学生网络GS，网络结构如图3所示，具体包括：
(2b1)本例中，图像质量增强学生网络GS为一个包含5个卷积层的卷积神经网络，该网络中使用的卷积层步长均为1，该网络的第一层使用卷积核大小为1×7，卷积核个数为8，激活函数为leaky ReLU的一维卷积层,网络第二层使用卷积核大小为7×1，卷积核个数为8，激活函数为leaky ReLU的一维卷积层，第一层卷积层与第二层卷积层相连后对手机拍摄图像进行特征提取，得到一组特征图As。
(2b2)该网络的第三层使用卷积核大小为1×7，卷积核个数为16的一维空洞卷积层，对第三层的输出运用实例规范化，再使用leaky ReLU激活函数，该网络的第四层使用卷积核大小为7×1，卷积核个数为8的一维空洞卷积层，对第四层的输出运用实例规范化，再使用leaky ReLU激活函数。特征图As经过二个一维空洞卷积层的输出特征图与特征图As相加得到特征图Bs。
(2b3)该网络第五层使用卷积核大小为3×3，卷积核个数为3，激活函数为Tanh的二维卷积层对特征图Bs进行重构，得到增强后的图像。
本例中图像质量增强学生网络GS的具体参数是一种实际可行方案，其中网络中每一层卷积核大小和卷积核个数均可根据实际计算机计算效率和图像质量增强效果需求进行适当修改。
本发明采用以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野，可以在限制网络参数量的同时提高图像质量增强效果。
实施例4
基于感知保持卷积网络的图像质量增强方法同实施例1-3，本发明步骤3)中所述的图像质量判别器网络D，网络结构如图4所示，具体包括：
(3a)本例中，判别器网络D为一个由6个卷积层，两个全连接层构成的神经网络，该网络的第一层为卷积核尺寸9×9，卷积步长为4，卷积核个数64的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3b)该网络的第二层为卷积核尺寸5×5，卷积步长为2，卷积核个数128的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3c)该网络的第三层为卷积核尺寸3×3，卷积步长为1，卷积核个数192的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3d)该网络的第四层为卷积核尺寸3×3，卷积步长为1，卷积核个数192的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3e)该网络的第五层为卷积核尺寸3×3，卷积步长为1，卷积核个数256的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3f)该网络的第六层为包含1024个神经元的全连接层，使用leakyReLU激活函数。
(3g)该网络的第七层为包含1个神经元的全连接层，使用的激活函数为Sigmoid，得到图像质量判别器网络D输出结果。
本发明使用判别器网络，可以在训练图像质量增强网络时加入纹理损失，使用纹理损失可以使图像质量增强网络产生感知上高质量的图像。
本例中图像质量判别器网络D的具体参数是一种实际可行方案，本发明中网络中每一层卷积核大小和卷积核个数以及全连接层的神经元个数均可根据实际计算机计算效率和图像质量增强效果需求进行适当修改。
实施例5
基于感知保持卷积网络的图像质量增强方法同实施例1-4，本发明步骤4)的(4a)中，训练判别器网络D时，按照以下公式最小化来优化：
其中
表示判别器网络D的损失函数，Iinput表示参与判别器网络D训练的手机拍摄图像，Itarget表示参与判别器网络D训练的单反相机拍摄图像，D(G(Iinput))表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果，D(Itarget)表示判别器网络D对输入图像为单反相机拍摄图像的输出结果。
实施例6
基于感知保持卷积网络的图像质量增强方法同实施例1-5，本发明步骤4)的(4b)中，训练图像质量增强网络GT时，本例中按照以下公式最小化来优化：
其中
表示教师图像质量增强网络GT的损失函数，该函数由四部分组成。
第一部分为内容损失
其中LCX(x，y)表示基于VGG-19网络的’conv4_2’层的语境损失，该损失通过计算两张图在特征上的差异得到。
和
分别表示参与训练的手机拍摄图像与单反拍摄图像的图像块对，
表示图像质量增强网络输入图像为
时，图像质量增强网络的输出图像，N表示训练集中的图像块对个数，h＝1，∈＝10-6，xi和yi表示一对特征图，μx和μy分别是VGG-19网络输入为
时’conv4_2’层的特征图xi的均值和VGG-19网络输入为
时’conv4_2’层的特征图yi的均值，
表示结构相似度损失，μX和μY分别是图像块X和图像块Y的均值，σX和σY则是标准差，σXY为X和Y图像块之间的协方差，C1、C2为常数。本例中取C1＝6.5025，C2＝58.5225，目的是避免分母为0带来的系统错误。在损失函数中加入内容损失，使经过图像质量增强处理后的手机拍摄图像与单反相机拍摄图像在特征层面上逼近，可以使经过图像质量增强处理后的手机拍摄图像在图像内容和图像视觉感知质量上与单方相机拍摄图像相近，令图像看起来更加真实，自然。
第二个部分为纹理损失
其中，
表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果。在损失函数中加入纹理损失，可以提升手机拍摄图像经过图像质量增强处理后的图像纹理质量，让图像纹理变得更加清晰。
第三个部分为颜色损失
其中Gk，l表示高斯模糊核，k，l表示使用高斯模糊核的图像像素位置坐标，A＝0.053，μx＝μy＝0，σx＝σy＝3，Iinput_b和Itarget_b分别表示利用高斯模糊核对网络输入图像Iinput与网络输出图像Itarget进行模糊操作后得到的图像。在损失函数中加入颜色损失，可以提升手机拍摄图像经过图像质量增强处理后的图像颜色质量，使经过图像质量增强处理后的手机拍摄图像与单反相机拍摄图像在色彩和亮度上接近。
第四个部分为总变分损失
其中C，H，W是增强后的图片G(Iinput)的三个维度。在损失函数中加入总变分损失，可以压制手机拍摄图像经过图像质量增强处理后的图像噪声，令图像看起来更加真实。
实施例7
基于感知保持卷积网络的图像质量增强方法同实施例1-6，本发明步骤4)的(4c)中，训练图像质量增强网络GS时，按照以下公式最小化来优化：
其中，
表示学生图像质量增强网络Gs的总的损失函数，该函数由五部分组成。
第一部分为内容损失
其中LCX(x，y)表示基于VGG-19网络的’conv4_2’层的语境损失，该损失通过计算两张图在特征上的差异得到。
和
分别表示参与训练的手机拍摄图像与单反拍摄图像的图像块对，
表示图像质量增强网络输入图像为
时，图像质量增强网络的输出图像，N表示训练集中的图像块对个数，h＝1，∈＝10-6，xi和yi表示一对特征图，μx和μy分别是VGG-19网络输入为
时’conv4_2’层的特征图xi的均值和VGG-19网络输入为
时’conv4_2’层的特征图yi的均值，
表示结构相似度损失，μX和μY分别是图像块X和图像块Y的均值，σX和σY则是标准差，σXY为X和Y图像块之间的协方差，C1、C2为常数。本例中取C1＝6.5025，C2＝58.5225，目的是避免分母为0带来的系统错误。在损失函数中加入内容损失，使经过图像质量增强处理后的手机拍摄图像与单反相机拍摄图像在特征层面上逼近，可以使经过图像质量增强处理后的手机拍摄图像在图像内容和图像视觉感知质量上与单方相机拍摄图像相近，令图像看起来更加真实，自然。
第二个部分为纹理损失
其中，
表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果。在损失函数中加入纹理损失，可以提升手机拍摄图像经过图像质量增强处理后的图像纹理质量，让图像纹理变得更加清晰。
第三个部分为颜色损失
其中Gk，l表示高斯模糊核，k，l表示使用高斯模糊核的图像像素位置坐标，A＝0.053，μx＝μy＝0，σx＝σy＝3，Iinput_b和Itarget_b分别表示利用高斯模糊核对网络输入图像Iinput与网络输出图像Itarget进行模糊操作后得到的图像。在损失函数中加入颜色损失，可以提升手机拍摄图像经过图像质量增强处理后的图像颜色质量，使经过图像质量增强处理后的手机拍摄图像与单反相机拍摄图像在色彩和亮度上接近。
第四个部分为总变分损失
其中C，H，W是增强后的图片G(Iinput)的三个维度。在损失函数中加入总变分损失，可以压制手机拍摄图像经过图像质量增强处理后的图像噪声，令图像看起来更加真实。
第五个部分为知识蒸馏损失
其中
和
分别为学生图像质量增强网络GS和教师图像质量增强网络GT的第j对特征图的矢量化形式，
C表示该层网络的卷积核个数，Ai表示该层网络的特征图。分别计算学生图像质量增强网络GS第二层的输出特征图As与教师图像质量增强网络GT第二层的输出特征图At之间的知识蒸馏损失和学生图像质量增强网络GS第四层输出特征图Bs与教师图像质量增强网络GT第七层输出特征图Et之间的知识蒸馏损失，将两个蒸馏损失相加作为总的知识蒸馏损失
本发明在图像质量学生增强网络Gs时加入知识蒸馏损失，在得到训练好的图像质量增强教师网络GT后，采用知识蒸馏联合训练，得到图像质量增强网络GS，实现知识迁移，有效提升结构简洁的学生图像质量增强网络GS的图像质量增强效果，使学生图像质量增强网络GS既有接近复杂的教师图像质量增强网络GT的性能，又能大幅减小图像质量增强的时间，用更少的参数和更快的图像质量增强处理速度得到高质量图像。
下面给出一个更加详实的例子，结合附图，对本发明的具体实现方法作进一步描述：
实施例8
基于感知保持卷积网络的图像质量增强方法同实施例1-7，
本发明的图像质量增强方法，如图1所示，图像的质量增强，包括以下步骤：
步骤1)收集训练使用的图像块对：对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪，得到训练卷积神经网络所要使用的160000张大小为100×100的iPhone 3GS手机拍摄图像的图像块和160000张大小为100×100的Canon单反相机拍摄图像的图像块，将手机拍摄图像块标签设为手机图像，将单反图像拍摄图像块标签设为单反图像所有的带标签的图像块对作为训练集。
步骤2)构建图像质量增强网络：使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络；
(2a)构建层数较多的M图像质量增强教师网络GT：首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块，最后再使用两个二维卷积层，依次连接构建网络层数较多的M图像质量增强教师网络GT。
步骤(2a)中所述的构建层数较多的M图像质量增强教师网络GT，网络结构如图2所示，具体包括：
(2a1)图像质量增强教师网络GT为一个包含8个卷积层的卷积神经网络，该网络中使用的卷积层步长均为1，该网络的第一层使用卷积核大小为1×7，卷积核个数为16，激活函数为leaky ReLU的一维卷积层，该网络的第二层使用卷积核大小为7×1，卷积核个数为16，激活函数为leaky ReLU的一维卷积层，第一个卷积层和第二个卷积层相连后对手机拍摄图像进行特征提取，得到一组特征图At。
(2a2)该网络的第三层和第四层为二维卷积层，第三层的卷积核大小为3×3，卷积核个数为32，对第三层的输出运用实例规范化，再使用leaky ReLU激活函数，第四层的卷积核大小为3×3，卷积核个数为16，对第四层的输出运用实例规范化，第三层与第四层两个二维卷积层构成一个残差模块，特征图At经过第三层和第四层两个卷积层输出得到一组特征图与特征图At相加得到特征图Bt。
(2a3)该网络的第五层和第六层为空洞卷积层，第五层空洞卷积层的卷积核大小为3×3，卷积核个数为32，对第五层的输出运用实例规范化，再使用leaky ReLU激活函数，第六层空洞卷积层的卷积核大小为3×3，卷积核个数为16，对第六层的输出运用实例规范化，第五层与第六层两个空洞卷积层构成一个残差模块，将特征图Bt经过二个空洞卷积层的输出特征图与特征图Bt相加，得到特征图Ct。
(2a4)将该网络的两个不同的残差模块分别输出的特征图Bt与特征图Ct集合，得到32张特征图，记为特征图Dt。
(2a5)该网络的第七个卷积层使用卷积核大小为1×1，卷积核个数为16，激活函数为leaky ReLU的二维卷积层对特征图Dt进行卷积，得到特征图Et。
(2a6)该网络的第八个卷积层使用卷积核大小为3×3，卷积核个数为3，激活函数为Tanh的二维卷积层对特征图Et进行重构，得到增强后的图像。
(2b)构建层数较少的N图像质量增强学生网络GS：首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块，最后再使用一个二维卷积层，依次连接构建网络层数较少的N图像质量增强教师网络GS。
步骤(2b)中所述的构建层数较少的N图像质量增强学生网络GS，网络结构如图3所示，具体包括：
(2b1)图像质量增强学生网络GS为一个包含5个卷积层的卷积神经网络，该网络中使用的卷积层步长均为1，该网络的第一层使用卷积核大小为1×7，卷积核个数为8，激活函数为leaky ReLU的一维卷积层,网络第二层使用卷积核大小为7×1，卷积核个数为8，激活函数为leaky ReLU的一维卷积层，第一层卷积层与第二层卷积层相连后对手机拍摄图像进行特征提取，得到一组特征图As。
(2b2)该网络的第三层使用卷积核大小为1×7，卷积核个数为16的一维空洞卷积层，对第三层的输出运用实例规范化，再使用leaky ReLU激活函数，该网络的第四层使用卷积核大小为7×1，卷积核个数为8的一维空洞卷积层，对第四层的输出运用实例规范化，再使用leaky ReLU激活函数，特征图As经过二个一维空洞卷积层的输出特征图与特征图As相加得到特征图Bs。
(2b3)该网络第五层使用卷积核大小为3×3，卷积核个数为3，激活函数为Tanh的二维卷积层对特征图Bs进行重构，得到增强后的图像。
步骤3)中所述的图像质量判别器网络D，网络结构如图4所示，具体包括：
(3a)判别器网络D为一个由6个卷积层，两个全连接层构成的神经网络，该网络的第一层为卷积核尺寸9×9，卷积步长为4，卷积核个数64的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3b)该网络的第二层为卷积核尺寸5×5，卷积步长为2，卷积核个数128的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3c)该网络的第三层为卷积核尺寸3×3，卷积步长为1，卷积核个数192的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3d)该网络的第四层为卷积核尺寸3×3，卷积步长为1，卷积核个数192的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3e)该网络的第五层为卷积核尺寸3×3，卷积步长为1，卷积核个数256的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数。
(3f)该网络的第六层为包含1024个神经元的全连接层，使用leaky ReLU激活函数。
(3g)该网络的第七层为包含1个神经元的全连接层，使用的激活函数为Sigmoid，得到图像质量判别器网络D输出结果。
步骤4),载入数据集训练网络。
(4a)，训练判别网络D时，将随机选取标签为手机图像，大小为100×100的iPhone3GS手机拍摄图像的图像块和标签为单反图像，大小为100×100的Canon单反相机拍摄图像的图像块作为判别网络D的输入。
训练判别器网络D时，按照以下公式最小化来优化：
其中
表示判别器网络D的损失函数，Iinput表示参与判别器网络D训练的手机拍摄图像，Itarget表示参与判别器网络D训练的单反相机拍摄图像，D(G(Iinput))表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果，D(Itarget)表示判别器网络D对输入图像为单反相机拍摄图像的输出结果。
(4b)，训练生成网络GT时，将标签为手机图像的手机拍摄图像，大小为100×100的iPhone 3GS图像块作为生成网络GT的输入，将对应拍摄同一场景内容，大小为100×100的Canon单反相机拍摄图像单的图像块作为生成GT的训练目标。
训练图像质量增强网络GT时，按照以下公式最小化来优化：
其中
表示教师图像质量增强网络GT的损失函数，该函数由四部分组成。
第一部分为内容损失
其中LCX(x，y)表示基于VGG-19网络的’conv4_2’层的语境损失，该损失通过计算两张图在特征上的差异得到。
和
分别表示参与训练的手机拍摄图像与单反拍摄图像的图像块对，
表示图像质量增强网络输入图像为
时，图像质量增强网络的输出图像，N表示训练集中的图像块对个数，h＝1，∈＝10-6，xi和yi表示一对特征图，μx和μy分别是VGG-19网络输入为
时’conv4_2’层的特征图xi的均值和VGG-19网络输入为
时’conv4_2’层的特征图yi的均值，
表示结构相似度损失，μX和μY分别是图像块X和图像块Y的均值，σX和σY则是标准差，σXY为X和Y图像块之间的协方差，C1、C2为常数，可取C1＝6.5025，C2＝58.5225，目的是避免分母为0带来的系统错误。
第二个部分为纹理损失
其中，
表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果。
第三个部分为颜色损失
其中Gk，l表示高斯模糊核，k，l表示使用高斯模糊核的图像像素位置坐标，A＝0.053，μx＝μy＝0，σx＝σy＝3，Iinput_b和Itarget_b分别表示利用高斯模糊核对网络输入图像Iinput与网络输出图像Itarget进行模糊操作后得到的图像。
第四个部分为用于压制生成图像的噪声的总变分损失
其中C，H，W是增强后的图片G(Iinput)的三个维度。
(4c)，训练生成网络GS时，将标签为手机图像的手机拍摄图像，大小为100×100的iPhone 3GS图像块作为生成网络GS的输入，将对应拍摄同一场景内容，大小为100×100的Canon单反相机拍摄图像单的图像块作为生成GS的训练目标。同时将标签为手机图像的手机拍摄图像，大小为100×100的iPhone 3GS图像块作为已训练好的生成网络GT的输入，得到输入图像在生成网络GT中第二层卷积层和第七层卷积层的输出特征图谱，用于计算生成网络GS优化过程中使用的知识蒸馏损失。
训练学生图像质量增强网络GS时，按照以下公式最小化来优化：
其中，
表示学生图像质量增强网络GS的总的损失函数，该函数由五部分组成。
第一部分为内容损失
其中LCX(x，y)表示基于VGG-19网络的’conv4_2’层的语境损失，该损失通过计算两张图在特征上的差异得到。
和
分别表示参与训练的手机拍摄图像与单反拍摄图像的图像块对，
表示图像质量增强网络输入图像为
时，图像质量增强网络的输出图像，N表示训练集中的图像块对个数，h＝1，∈＝10-6，xi和yi表示一对特征图，μx和μy分别是VGG-19网络输入为
时’conv4_2’层的特征图xi的均值和VGG-19网络输入为
时’conv4_2’层的特征图yi的均值，
表示结构相似度损失，μX和μY分别是图像块X和图像块Y的均值，σX和σY则是标准差，σXY为X和Y图像块之间的协方差，C1、C2为常数，可取C1＝6.5025，C2＝58.5225，目的是避免分母为0带来的系统错误。
第二个部分为纹理损失
其中，
表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果。
第三个部分为颜色损失
其中Gk，l表示高斯模糊核，k，l表示使用高斯模糊核的图像像素位置坐标，A＝0.053，μx＝μy＝0，σx＝σy＝3，Iinput_b和Itarget_b分别表示利用高斯模糊核对网络输入图像Iinput与网络输出图像Itarget进行模糊操作后得到的图像。
第四个部分为用于压制生成图像的噪声的总变分损失
其中C，H，W是增强后的图片G(Iinput)的三个维度。
第五个部分为知识蒸馏损失
其中
和
分别为学生图像质量增强网络GS和教师图像质量增强网络GT的第j对特征图的矢量化形式，
C表示该层网络的卷积核个数，Ai表示该层网络的特征图。分别计算学生图像质量增强网络GS第二层的输出特征图As与教师图像质量增强网络GT第二层的输出特征图At之间的知识蒸馏损失和学生图像质量增强网络GS第四层输出特征图Bs与教师图像质量增强网络GT第七层输出特征图Et之间的知识蒸馏损失，将两个蒸馏损失相加作为总的知识蒸馏损失
(4d)，采用轮流迭代的方式训练判别网络D，生成网络GT和生成网络GS。
先优化判别网络D，在每一次更新判别网络D的参数之前，从截断的正态分布中输出随机值赋给判别网络D中的参数来实现网络的初始化。
在交替训练判别网络D，生成网络GS达到4轮后，得到最终生成网络GS的参数。
判别网络D、生成网络GT和生成网络GS在参数更新时均使用后向传播梯度算法和Adam优化器，初始学习率为0.1，网络参数每更新104次，学习率下降为原来的
步骤5)，使用训练好的网络进行图像增强：输入待增强的图像，当对增强后的图像质量要求较高时，可使用训练好的教师图像质量增强网络GT对输入图像进行增强，得到增强处理速度较慢但图像质量增强效果相对较好的图像。
当对图像增强处理速度要求较高时，使用训练好的学生图像质量增强网络GS对输入图像进行增强，得到增强处理速度较快但图像质量增强效果相对较差的图像，分别计算图像质量增强效果，并输出图像质量增强后的图像。
(5a)分别在生成网络GT和生成网络GS上对400个分别由iPhone 3GS手机拍摄与Canon单反相机拍摄的图像对进行实验，计算经过图像质量增强后iPhone 3GS手机拍摄图像与对应Canon单反相机拍摄图像之间的PSNR和SSIM指标。
(5b)分别使用生成网络GT和生成网络GS对4张分辨率为1280×720图片进行质量重建实验，计算图像质量增强操作所需平均时间。
本发明可使手机拍摄的图片在经过图像质量增强后，达到单反相机拍摄的图像效果，本发明可用于移动设备的图像质量增强服务。
本发明的技术效果结合以下仿真实验再做说明：
实施例9
基于感知保持卷积网络的图像质量增强方法同实施例1-8，
仿真条件
本发明是在中央处理器为Intel(R)Core(TM)i7-8700K CPU@3.70GHz、内存64GB、图像处理器GeForce GTX 1080Ti、Ubuntu 16.04操作系统上，运用TensorFlow 1.11.0软件进行的实验仿真，仿真时，仅使用中央处理器进行实验，未使用图像处理器。
仿真内容
本发明的方法与现有图像质量增强方法进行了对比，作为对比的图像质量增强方法是基于卷积神经网络的手机实现单反图像质量的质量增强方法(DPED)。
仿真实验中，分别画出质量增强图像与单反相机拍摄图像之间的PSNR-图像质量增强所需平均时间和质量增强图像与单反相机拍摄图像之间的SSIM-图像质量增强所需平均时间。其中，PSNR，即峰值信噪比：是真实高分辨率图像与通过超分辨率重建得到的高分辨率图像之间相对位置的像素值的定量运算，它的单位是dB，计算公式为：
其中，MSE为X和Y之间的均方误差(Mean Square Error)，n是像素比数，表示有2n个像素灰度阶数，这里n＝8。
SSIM，即结构相似性，该指标分别从亮度、对比度、结构三方面度量图像相似性。计算公式为：
其中，μX和μY分辨是图像块X和图像块Y的均值，σX和σY则是标准差，σX，Y为X和Y图像块之间的协方差，C1、C2、C3为平衡常数。
图像质量增强所需平均时间为在4张分辨率为1280×720的图像进行图像质量增强所需的平均时间。
图像重建所需平均时间为在Set5数据及中的5张图片进行图像超分辨率重建所需的平均时间。
仿真1：在DPED数据集下训练图像质量增强网络。分别使用本方法中的教师图像质量增强网络和学生图像质量增强网络以及现有的DPED图像质量增强方法在DPED测试集中的400个由iPhone 3GS拍摄的图像选取的100×100的图像块进行图像质量增强，并与相对应的400个由Canon单反相机拍摄的图像选取的100×100的图像块进行对比，计算PSNR和SSIM。在4张分辨率为1280×720的图像进行图像质量增强，计算单张图像质量增强所需的平均时间。结果如图5所示
图5(a)为在DPED测试集中的400个由iPhone 3GS拍摄的图像选取的100×100的图像块进行图像质量增强，并与相对应的400个由Canon单反相机拍摄的图像选取的100×100的图像块进行对比，计算PSNR，和在4张分辨率为1280×720的图像进行图像质量增强，计算单张图像质量增强所需的平均时间的PSNR-图像质量增强所需平均时间散点图，横轴表示图像质量增强所需平均时间，纵轴表示由iPhone 3GS拍摄图像的图像块与对应Canon单反相机拍摄图像的图像块之间的PSNR。
图5(b)为在DPED测试集中的400个由iPhone 3GS拍摄的图像选取的100×100的图像块进行图像质量增强，并与相对应的400个由Canon单反相机拍摄的图像选取的100×100的图像块进行对比，计算SSIM，和在4张分辨率为1280×720的图像进行图像质量增强，计算单张图像质量增强所需的平均时间的SSIM-图像质量增强所需平均时间散点图，横轴表示图像质量增强所需平均时间，纵轴表示由iPhone 3GS拍摄图像的图像块与对应Canon单反相机拍摄图像的图像块之间的SSIM。
由图5(a)和图5(b)可知，采用本发明进行图像质量增强的PSNR和SSIM指标都优于现有的DPED图像质量增强方法，说明本发明的图像质量增强效果比现有方法更好。图像质量增强所需平均时间也大幅快于现有的DPED图像质量增强方法。因此，本发明相比现有方法具有更高的实用性。
实施例10
基于感知保持卷积网络的图像质量增强方法同实施例1-9，仿真条件和内容同实施例9
仿真2：本发明中图像质量增强方法与现有图像质量增强方法在DPED数据集中7号图片上的效果对比，结果如图6，图7，图8，图9所示：
图6(a)为DPED数据集中由iPhone 3GS拍摄第7号图片，图6(b)和图6(c)是取自DPED数据集中由iPhone 3GS拍摄第7号图片的两个图像块。用于和增强后的图像进行对比。从图6(a)、图6(b)和图6(c)可知，用iPhone 3GS手机拍摄的图像色彩多样性较差，纹理也不够清晰。
图7(a)为对DPED数据集中由iPhone 3GS拍摄第7号图片使用DPED图像质量增强方法增强后的图像，也就是说图7(a)为对图6(a)使用DPED图像质量增强方法增强后的图像，图7(b)和图7(c)DPED数据集中由iPhone 3GS拍摄第7号图片使用DPED图像质量增强方法增强后的图像的两个图像块，也就是说图7(b)和图7(c)是取自图7(a)的两个图像块。相比于图6(b)，图7(b)色彩更加丰富，更容易体现图片内容中物体的材质。相比于图6(c)，图7(c)纹理更加清晰，更容易体现图片内容中物体的结构。
因此，使用DPED图像质量增强方法增强后的图像，在色彩丰富度和纹理清晰度上有很大提升，但图像质量增强处理速度十分缓慢。
图8(a)为对DPED数据集中由iPhone 3GS拍摄第7号图片使用本发明中图像质量增强方法中图像质量增强教师网络增强后的图像，也就是说图8(a)为对图6(a)使用本发明中图像质量增强方法中图像质量增强教师网络增强后的图像，图8(b)图8(c)是取自DPED数据集中由iPhone 3GS拍摄第7号图片使用本发明中图像质量增强方法中图像质量增强教师网络增强后的图像的两个图像块，也就是说图8(b)和图8(c)是取自图8(a)的两个图像块。相比于图6(b)和图7(b)，图8(b)色彩更加丰富、真实，更容易体现图片内容中物体的材质。相比于图6(c)和图7(c)，图8(c)纹理清晰度进一步提升，感观也更好，更容易体现图片内容中物体的结构。因此，使用本发明中图像质量增强方法中图像质量增强教师网络增强后的图像，在色彩丰富度和纹理清晰度上相比由iPhone 3GS拍摄的图像有很大提升，与现有的DPED图像质量增强方法得到的图像相比，图像颜色也更加真实，图像质量增强处理速度也比现有方法更快。
图9(a)为对DPED数据集中由iPhone 3GS拍摄第7号图片使用本发明中图像质量增强方法中图像质量增强学生网络增强后的图像，也就是说图9(a)为对图6(a)使用本发明中图像质量增强方法中图像质量增强学生网络增强后的图像，图9(b)和图9(c)是取自DPED数据集中由iPhone 3GS拍摄第7号图片使用本发明中图像质量增强方法中图像质量增强学生网络增强后的图像的两个图像块，也就是说图9(b)和图9(c)是取自图9(a)的两个图像块。相比于图6(b)，图9(b)色彩更加丰富，更容易体现图片内容中物体的材质，视觉效果与图7(b)相近。相比于图6(c)，图9(c)纹理更加清晰，更容易体现图片内容中物体的结构，视觉效果与图7(c)相近。因此，使用本发明中图像质量增强方法中图像质量增强学生网络增强后的图像，在色彩丰富度和纹理清晰度上相比由iPhone 3GS拍摄的图像同样有很大提升，也与现有的DPED图像质量增强具有相近的图像色彩质量和纹理质量，但图像质量增强处理速度比现有的DPED图像质量增强方法要缩短5倍以上。如果对多幅图像采用图像质量增强，本发明中图像质量增强方法相比现有的DPED图像质量增强方法，平均图像增强处理时间会进一步加快。
由图5，图6，图7，图8和图9仿真结果可见，采用本发明进行图像质量增强的PSNR和SSIM指标都优于现有的图像质量增强方法，图像质量增强所需平均时间也大幅快于现有的基于卷积神经网络的图像质量增强方法。因此，本发明中使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构成图像质量增强网络，以及利用知识蒸馏提升与规模较大的图像质量增强网络具有相同结构，但规模较小的图像质量增强网络的图像增强效果，能有效提升图像质量增强效果，减少图像质量增强所需平均时间。
综上所述，本发明公开的基于感知保持卷积网络的图像质量增强方法，主要解决手机由于硬件限制造成的拍摄图像质量不如单反相机的问题。其图像质量增强的实现步骤为：(1)收集训练使用的图像块对；(2)使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络GT和GS；(3)构建图像质量判别器网络D；(4)训练图像质量增强教师网络GT和图像质量判别器网络D，结合知识蒸馏训练图像质量增强学生网络GS；(5)使用训练好的网络进行图像增强。本发明以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野，使用知识蒸馏提升具有相同结构，规模较小的图像质量增强网络的图像增强效果，降低了计算机资源消耗，可用于移动设备的图像质量增强服务。
Claims (7)
1.一种基于感知保持卷积网络的图像质量增强方法，其特征在于，包括有如下步骤：
步骤1)收集训练使用的图像块对：对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪，得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块，共同组成图像块对作为训练集；
步骤2)构建图像质量增强网络：使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络；
(2a)构建层数较多的M图像质量增强教师网络GT：首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块，最后再使用两个二维卷积层，依次连接构建网络层数较多的M图像质量增强教师网络GT；
(2b)构建层数较少的N图像质量增强学生网络GS：首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块，最后再使用一个二维卷积层，依次连接构建网络层数较少的N图像质量增强教师网络GS；
步骤3)构建图像质量判别器网络：用卷积层和全连接层构建图像质量判别器网络D；
步骤4)训练图像质量增强教师网络GT，结合知识蒸馏训练图像质量增强学生网络GS：载入训练集训练图像质量增强网络和图像质量判别器网络，并采用先训练图像质量判别器D再训练图像质量增强网络的轮流迭代方式进行训练；
(4a)，训练判别器网络：训练判别器网络D时，将随机选取的标签为手机图像的手机拍摄图像的图像块和标签为单反图像的单反相机拍摄图像的图像块作为判别器网络D的输入，将对应的标签值作为训练目标；
(4b)，训练图像质量增强教师网络GT：训练图像质量增强网络GT时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GT的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GT的训练目标；
(4c)，训练图像质量增强学生网络GS：训练图像质量增强网络GS时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络GS的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强GS的训练目标；
(4d)，联合训练判别器网络和图像质量增强网络：采用轮流迭代的方式先训练判别器网络D和图像质量增强网络GT，仍然采用轮流迭代的方式再训练判别器网络D和图像质量增强网络GS，并在训练图像质量增强网络GS时运用已训练好的图像质量增强网络GT，采用知识蒸馏联合训练；得到图像质量增强网络GS；训练完毕，得到训练完成的图像质量增强网络GT和训练图像质量增强网络GS；
步骤5)使用训练好的网络进行图像增强：输入待增强的图像，使用训练好的教师图像质量增强网络GT对输入图像进行增强，得到增强处理速度较慢但图像质量增强效果相对较好的图像，使用训练好的学生图像质量增强网络GS对输入图像进行增强，得到增强处理速度较快但图像质量增强效果相对较差的图像。
2.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法，其特征在于，步骤(2a)中所述的构建层数较多的M图像质量增强教师网络GT，具体包括：
(2a1)图像质量增强教师网络GT为一个包含8个卷积层的卷积神经网络，该网络中使用的卷积层步长均为1，该网络的第一层使用卷积核大小为1×7，卷积核个数为16，激活函数为leaky ReLU的一维卷积层，该网络的第二层使用卷积核大小为7×1，卷积核个数为16，激活函数为leaky ReLU的一维卷积层，第一个卷积层和第二个卷积层相连后对手机拍摄图像进行特征提取，得到一组特征图At；
(2a2)该网络的第三层和第四层为二维卷积层，第三层的卷积核大小为3×3，卷积核个数为32，对第三层的输出运用实例规范化，再使用leaky ReLU激活函数，第四层的卷积核大小为3×3，卷积核个数为16，对第四层的输出运用实例规范化，第三层与第四层两个二维卷积层构成一个残差模块，特征图At经过第三层和第四层两个卷积层输出得到一组特征图与特征图At相加得到特征图Bt；
(2a3)该网络的第五层和第六层为空洞卷积层，第五层空洞卷积层的卷积核大小为3×3，卷积核个数为32，对第五层的输出运用实例规范化，再使用leaky ReLU激活函数，第六层空洞卷积层的卷积核大小为3×3，卷积核个数为16，对第六层的输出运用实例规范化，第五层与第六层两个空洞卷积层构成一个残差模块，将特征图Bt经过二个空洞卷积层的输出特征图与特征图Bt相加，得到特征图Ct；
(2a4)将该网络的两个不同的残差模块分别输出的特征图Bt与特征图Ct集合，得到32张特征图，记为特征图Dt；
(2a5)该网络的第七个卷积层使用卷积核大小为1×1，卷积核个数为16，激活函数为leaky ReLU的二维卷积层对特征图Dt进行卷积，得到特征图Et；
(2a6)该网络的第八个卷积层使用卷积核大小为3×3，卷积核个数为3，激活函数为Tanh的二维卷积层对特征图Et进行重构，得到增强后的图像。
3.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法，其特征在于，步骤(2b)中所述的构建层数较少的N图像质量增强学生网络GS，具体包括：
(2b1)图像质量增强学生网络GS为一个包含5个卷积层的卷积神经网络，该网络中使用的卷积层步长均为1，该网络的第一层使用卷积核大小为1×7，卷积核个数为8，激活函数为leaky ReLU的一维卷积层,网络第二层使用卷积核大小为7×1，卷积核个数为8，激活函数为leaky ReLU的一维卷积层，第一层卷积层与第二层卷积层相连后对手机拍摄图像进行特征提取，得到一组特征图As；
(2b2)该网络的第三层使用卷积核大小为1×7，卷积核个数为16的一维空洞卷积层，对第三层的输出运用实例规范化，再使用leaky ReLU激活函数，该网络的第四层使用卷积核大小为7×1，卷积核个数为8的一维空洞卷积层，对第四层的输出运用实例规范化，再使用leaky ReLU激活函数；特征图As经过二个一维空洞卷积层的输出特征图与特征图As相加得到特征图Bs；
(2b3)该网络的第五层使用卷积核大小为3×3，卷积核个数为3，激活函数为Tanh的二维卷积层对特征图Bs进行重构，得到增强后的图像。
4.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法，其特征在于，步骤3)中所述的图像质量判别器网络D，具体包括：
(3a)判别器网络D为一个由6个卷积层，两个全连接层构成的神经网络，该网络的第一层为卷积核尺寸9×9，卷积步长为4，卷积核个数64的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数；
(3b)该网络的第二层为卷积核尺寸5×5，卷积步长为2，卷积核个数128的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数；
(3c)该网络的第三层为卷积核尺寸3×3，卷积步长为1，卷积核个数192的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数；
(3d)该网络的第四层为卷积核尺寸3×3，卷积步长为1，卷积核个数192的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数；
(3e)该网络的第五层为卷积核尺寸3×3，卷积步长为1，卷积核个数256的卷积层，对输出运用实例规范化，再使用leaky ReLU激活函数；
(3f)该网络的第六层为包含1024个神经元的全连接层，使用leaky ReLU激活函数；
(3g)该网络的第七层为包含1个神经元的全连接层，使用的激活函数为Sigmoid，得到图像质量判别器网络D输出结果。
5.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法，其特征在于，步骤4)的(4a)中，训练判别器网络D时，按照以下公式最小化来优化：
其中
表示判别器网络D的损失函数，Iinput表示参与判别器网络D训练的手机拍摄图像，Itarget表示参与判别器网络D训练的单反相机拍摄图像，D(G(Iinput))表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果，D(Itarget)表示判别器网络D对输入图像为单反相机拍摄图像的输出结果。
6.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法，其特征在于，步骤4)的(4b)中，训练图像质量增强网络GT时，按照以下公式最小化来优化：
其中
表示教师图像质量增强网络GT的损失函数，该函数由四部分组成；
第一部分为内容损失
其中LCX(x,y)表示基于VGG-19网络的'conv4_2’层的语境损失，该损失通过计算两张图在特征上的差异得到；
和
分别表示参与训练的手机拍摄图像与单反拍摄图像的图像块对，
表示图像质量增强网络输入图像为
时，图像质量增强网络的输出图像，N表示训练集中的图像块对个数,h＝1，∈＝10-6,xi和yi表示一对特征图，μx和μy分别是VGG-19网络输入为
时'conv4_2’层的特征图xi的均值和VGG-19网络输入为
时'conv4_2’层的特征图yi的均值，
表示结构相似度损失，μX和μY分辨是图像块X和图像块Y的均值，σX和σY则是标准差，σXY为X和Y图像块之间的协方差，C1、C2为常数，可取C1＝6.5025，C2＝58.5225，目的是避免分母为0带来的系统错误；
第二个部分为纹理损失
其中，
表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果；
第三个部分为颜色损失
其中Gk,l表示高斯模糊核，k,l表示使用高斯模糊核的图像像素位置坐标，A＝0.053，μx＝μy＝0，σx＝σy＝3，Iinput_b和Itarget_b分别表示利用高斯模糊核对网络输入图像Iinput与网络输出图像Itarget进行模糊操作后得到的图像；
第四个部分为总变分损失
其中C，H，W是增强后的图片G(Iinput)的三个维度。
7.根据权利要求1所述的一种基于感知保持卷积网络的图像质量增强方法，其特征在于，步骤4)的(4c)中，训练学生图像质量增强网络GS时，按照以下公式最小化来优化：
其中，
表示学生图像质量增强网络GS的总的损失函数，该函数由五部分组成；
第一部分为内容损失
其中LCX(x,y)表示基于VGG-19网络的'conv4_2’层的语境损失，该损失通过计算两张图在特征上的差异得到；
和
分别表示参与训练的手机拍摄图像与单反拍摄图像的图像块对，
表示图像质量增强网络输入图像为
时，图像质量增强网络的输出图像，N表示训练集中的图像块对个数,h＝1，∈＝10-6,xi和yi表示一对特征图，μx和μy分别是VGG-19网络输入为
时'conv4_2’层的特征图xi的均值和VGG-19网络输入为
时'conv4_2’层的特征图yi的均值，
表示结构相似度损失，μX和μY分别是图像块X和图像块Y的均值，σX和σY则是标准差，σXY为X和Y图像块之间的协方差，C1、C2为常数，可取C1＝6.5025，C2＝58.5225，目的是避免分母为0带来的系统错误；
第二个部分为纹理损失
其中，
表示判别器网络D对输入图像为经过图像质量增强的手机拍摄图像的输出结果；
第三个部分为颜色损失
其中Gk,l表示高斯模糊核，k,l表示使用高斯模糊核的图像像素位置坐标，A＝0.053，μx＝μy＝0，σx＝σy＝3，Iinput_b和Itarget_b分别表示利用高斯模糊核对网络输入图像Iinput与网络输出图像Itarget进行模糊操作后得到的图像；
第四个部分为总变分损失
其中C，H，W是增强后的图片G(Iinput)的三个维度；
第五个部分为知识蒸馏损失
其中
和
分别为学生图像质量增强网络GS和教师图像质量增强网络GT的第j对特征图的矢量化形式，
C表示该层网络的卷积核个数，Ai表示该层网络的特征图；分别计算学生图像质量增强网络GS第二层的输出特征图As与教师图像质量增强网络GT第二层的输出特征图At之间的知识蒸馏损失和学生图像质量增强网络GS第四层输出特征图Bs与教师图像质量增强网络GT第七层输出特征图Et之间的知识蒸馏损失，将两个蒸馏损失相加作为总的知识蒸馏损失
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019100715878 | 2019-01-25 | ||
| CN201910071587 | 2019-01-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458765A CN110458765A (zh) | 2019-11-15 |
| CN110458765B true CN110458765B (zh) | 2022-12-02 |
Family
ID=68482496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910617979.XA Active CN110458765B (zh) | 2019-01-25 | 2019-07-10 | 基于感知保持卷积网络的图像质量增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458765B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161158B (zh) * | 2019-12-03 | 2022-08-26 | 河海大学 | 一种基于生成网络结构的图像修复方法 |
| CN111091092A (zh) * | 2019-12-16 | 2020-05-01 | 桂林电子科技大学 | 一种基于优化卷积神经网络分类的数据增强方法 |
| CN111147924B (zh) * | 2019-12-24 | 2022-10-04 | 书行科技(北京)有限公司 | 一种视频增强处理方法及系统 |
| CN111428130B (zh) * | 2020-03-06 | 2023-04-18 | 云知声智能科技股份有限公司 | 一种知识蒸馏过程中增强文本数据的方法及装置 |
| CN112085102B (zh) * | 2020-09-10 | 2023-03-10 | 西安电子科技大学 | 基于三维时空特征分解的无参考视频质量评价方法 |
| CN113240580B (zh) * | 2021-04-09 | 2022-12-27 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
| CN113411425B (zh) * | 2021-06-21 | 2023-11-07 | 深圳思谋信息科技有限公司 | 视频超分模型构建处理方法、装置、计算机设备和介质 |
| CN113449851A (zh) * | 2021-07-15 | 2021-09-28 | 北京字跳网络技术有限公司 | 数据处理方法及设备 |
| CN113807214B (zh) * | 2021-08-31 | 2024-01-05 | 中国科学院上海微系统与信息技术研究所 | 基于deit附属网络知识蒸馏的小目标人脸识别方法 |
| CN113793265A (zh) * | 2021-09-14 | 2021-12-14 | 南京理工大学 | 一种基于深度特征关联性的图像超分辨率方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN108010049A (zh) * | 2017-11-09 | 2018-05-08 | 华南理工大学 | 使用全卷积神经网络分割定格动画中人手部区域的方法 |
| CN108830813B (zh) * | 2018-06-12 | 2021-11-09 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
-
2019
- 2019-07-10 CN CN201910617979.XA patent/CN110458765B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458765A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458765B (zh) | 基于感知保持卷积网络的图像质量增强方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN111145116B (zh) | 一种基于生成对抗网络的海面雨天图像样本增广方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| CN111784821B (zh) | 三维模型生成方法、装置、计算机设备及存储介质 | |
| CN110363068B (zh) | 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN109389667B (zh) | 一种基于深度学习的高效全局光照明绘制方法 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN114463176B (zh) | 基于改进esrgan的图像超分辨重建方法 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN112861659A (zh) | 一种图像模型训练方法、装置及电子设备、存储介质 | |
| CN116168067B (zh) | 基于深度学习的有监督多模态光场深度估计方法 | |
| CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
| Li et al. | High-resolution network for photorealistic style transfer | |
| CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
| CN115439669A (zh) | 基于深度学习的特征点检测网络及跨分辨率图像匹配方法 | |
| CN116188259B (zh) | 一种基于压缩感知和生成对抗的鱼类图像生成方法 | |
| CN110866866A (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| CN114037843A (zh) | 一种基于改进生成对抗网络的提高水下图像分辨率方法 | |
| Yang et al. | An end‐to‐end perceptual enhancement method for UHD portrait images | |
| CN117408893B (zh) | 一种基于浅层神经网络的水下图像增强方法 | |
| CN113792862B (zh) | 基于级联注意力机制的改正单图生成对抗网络的设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |