CN112819707B - 一种端到端抗块效应低照度图像增强方法 - Google Patents
一种端到端抗块效应低照度图像增强方法 Download PDFInfo
- Publication number
- CN112819707B CN112819707B CN202110056964.8A CN202110056964A CN112819707B CN 112819707 B CN112819707 B CN 112819707B CN 202110056964 A CN202110056964 A CN 202110056964A CN 112819707 B CN112819707 B CN 112819707B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- convolution
- low
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000694 effects Effects 0.000 title abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006835 compression Effects 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 19
- 230000000903 blocking effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于图像增强领域，具体为一种端到端抗块效应低照度图像增强方法。本发明的方法采用先将收集的数据进行处理后分成测试数据和训练数据两类；再通过构建一个端到端图像增强网络结构，将训练数据输入到端到端网络结构中进行多轮训练。在训练过程中，采用最小化网络预测图与真值图的均方二范数差值、计算压缩图像的边界损失平滑块边界；并计算出网络预测图与真值图的块相似损失值、构造结构相似损失值进行端到端网络的参数调整，优化网络结构，得到完成训练的端到端图像增强网络；然后将测试数据输入训练好的端到端图像增强网络结构中，得到最终的增强图像。与现有技术相比，本发明提供的方法解决了有损压缩低照度像块效应被放大的问题。
Description
技术领域
本发明属于图像增强领域，尤其涉及一种端到端抗块效应低照度图像增强方法。
背景技术
良好的光照是保证图像质量的一个重要因素，当图像从低照度环境中捕获得到或者得到的图像为欠曝光图像时，一般存在亮度低、对比度低、细节信息模糊等缺点，需要对其进行亮度增强处理以获得更好的视觉效果。低照度图像增强通过变换数据，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征，使图像与视觉响应特性相匹配，既可以有效提升图像视频的视觉观感，也可以为目标检测、跟踪等视觉处理应用提供一个良好的预处理基础。在实际应用中，由于原始图像视频数据量庞大，在传输之前会对图像进行必要的编码压缩。图像视频的压缩虽然有效去除了空间和时间冗余，减小了图像视频的数据量，但不可避免地会产生块效应。由于现有的低照度图像增强技术，在对低照度图像进行图像增强处理时，均未考虑低照度图像压缩产生的块效应问题，因此，低照度图像压缩后经过现有的低照度增强算法处理后，压缩块效应很容易被放大，带来极差的视觉体验和内容破坏。随着互联网视频的普及和流行，低照度图像视频在传播过程中会受到多次编码压缩，增强后的画面块效应会更加明显，视觉体验效果变差。因此，业界迫切需要有效的智能增强算法来解决低照度图像视频的增强。
发明内容
本发明的目的在于：提供一种端到端抗块效应低照度图像增强方法，以用于解决现有技术中存在压缩图像增强过程中块效应被放大的技术问题。
为实现上述目的，本发明采取如下技术方案：
一种端到端抗块效应低照度图像增强方法，包括下列步骤：
步骤S1、构造训练数据集：为了训练端到端图像增强网络，构造训练数据集，该训练数据集是由多个数据对组成的序列集，每个数据对是由低照度图像和低照度图像对应的真值图像组成，其中真值图指的是正常照度图像；
步骤S2、数据处理：使用有损压缩技术压缩训练数据集中的所有低照度图像，保持真值图像的图像质量；并根据使用需求将处理好的数据集分成测试数据和训练数据；
步骤S3、构建端到端图像增强网络：端到端图像增强网络输入为压缩低照度图像，输出为增强图像；端到端图像增强网络包括增强主干网络和去块分支网络；
所述增强主干网络是以卷积层作为基本单元的U型编解码网络，其中编码网络输入压缩低照度图像，输出卷积特征图；解码网络输入卷积特征图，输出网络预测图像；在U型编解码网络中，编码网络的卷积特征图和与之相同维度的解码网络的卷积特征图进行跳跃连接；
所述去块分支网络是由一个卷积核尺寸为8×8的卷积组和一个卷积核尺寸为(8+ε)×(8+ε)的卷积组构成；其中，ε为两组卷积核的尺寸差，ε的取值范围为1～8的整数；去块分支网络输入压缩低照度图像，输出用于补偿卷积特征图的块边界补偿图。
步骤S4、训练：将训练数据送入端到端图像增强网络，进行端到端的增强训练；同时通过损失函数对端到端图像增强网络进行优化，得到完成训练的端到端图像增强网络。
步骤S5、测试：将测试数据输入完成训练的端到端图像增强网络得到最终的增强图像。
本发明构建的端到端图像增强网络在基于训练数据进行多轮端到端的增强训练后，能够实现在增强图像内容的同时有选择性地抑制压缩块效应。作为优选，所述端到端的增强网络训练的具体过程如下：
编码网络对输入的压缩低照度图像通过一个3×3卷积后，再通过3×3卷积+maxpooling+Relu激活函数来对特征进行下采样，一共下采样n次，每个maxpooling的下采样倍数为2；解码网络通过resize+3×3卷积进行上采样，一共上采样n次，每次resize的上采样倍数为2，最后通过1×1卷积融合不同层次的卷积特征图，输出网络预测图像。
去块分支网络输入的压缩低照度图像先通过卷积核尺寸分别为8×8和(8+ε)×(8+ε)的卷积组计算出卷积结果残差，再通过Tanh激活函数，得到块边界补偿图，通过块边界补偿图对编码网络输出的卷积特征图相加实现对压缩低照度图像的补偿。
作为优选，本发明通过损失函数对端到端图像增强网络进行优化的具体内容如下：
步骤S401、使用均方误差损失函数LMSE＝||Ipre-Igt||最小化网络预测图与真值图的均方二范数差值；其中，||·||为2范数，Ipre为网络预测图，Igt为真值图。
步骤S402、计算压缩图片的块边界差值损失，采用边界差值损失函数来平滑块边界；所述边界差值损失的计算步骤包括：
将一张压缩图像划分为M×N个8×8块，确定出位于垂直边界上的像素点和位于水平边界上的像素点；在该图像中，所述像素点可表示为P(x,y)(0≤x≤8M,0≤y≤8N)；其中，位于垂直边界上的像素包括P(8i-1,y),P(8i,y)(i＝1,2,…,M-1)；位于水平边界上的像素包括P(x,8j-1),P(x,8j)(j＝1,2,…,N-1)；然后，根据垂直边界上的像素点和水平边界上的像素点计算出损失值
步骤S403、构建一个块特征提取网络，分别提取网络预测图的块特征Fp和真值图的块特征Fg；根据网络预测图的块特征Fp和真值图的块特征Fg计算出网络预测图与真值图之间的块相似损失函数Lbs＝||S(Fp)-S(Fg)||2；
步骤S404、采用结构相似性(SSIM)构造结构相似损失Ls,结构相似损失Ls＝1-SSIM(Ipre,Igt)其中，SSIM(Ipre,Igt)表示Ipre与Igt的结构相似性。
步骤S405、通过计上述步骤计算出的LMSE、Lbgrad、Lbs、Ls送入端到端网络，调整端到端网络训练参数；并通过最小化以下损失函数Ltotal优化网络模型：
Ltotal＝LMSE+ωbgradLbgrad+ωbsLbs+ωsLs，其中ωbgrad、ωbs和ωs表示权重系数。
作为优选，对所述训练数据集进行数据处理的过程还包括：
采用每间隔i个像素裁剪一次的方式，沿块边界对低照度图和对应的真值图进行裁剪，得到目标尺寸的低照度图像和目标尺寸的真值图像；对低照度图像和真值图像的裁剪方式一致。
本发明提供一种端到端抗块效应低照度图像增强方法，目的是针对压缩后的低照度图像进行增强处理。基于深度学习原理，先将收集的数据进行处理后分成测试数据和训练数据两类；再通过构建一个端到端图像增强网络结构，将训练数据输入到端到端网络结构中进行多轮训练。在训练过程中，采用最小化网络预测图与真值图的均方二范数差值、计算压缩图像的边界损失平滑块边界；并计算出网络预测图与真值图的块相似损失值、构造结构相似损失值进行端到端网络的参数调整，得到完成训练的端到端图像增强网络。然后将测试数据输入训练好的端到端图像增强网络结构中，得到最终的增强图像。相较于现有技术而言，本发明具有以下有益效果：
(1)本发明提供的方法可以在增强图像内容的同时有选择性地抑制压缩块效应。
(2)本发明提供的方法合理地结合压缩块效应的尺寸特征，利用去块分支网络中的卷积核尺寸不同的两个卷积组构成一个非对称卷积对，并计算非对称卷积对的卷积结果的残差，得到块边界补偿图，从特征层面对压缩图片进行补偿，消除块边界的不连续性。
(3)本发明提供的方法中，在构建的目标损失函数过程中，为了加强相似结构块的相关性，通过采用块特征提取网络将块映射到特征空间，再计算余弦相似度矩阵，通过逼近网络预测图和真值图的余弦相似度矩阵，有效的抑制平滑区域内块的颜色失真。
附图说明
图1为本发明的总流程示意图；
图2为本发明实施例端到端图像增强网络结构示意图；
图3(a)低照度图像；
图3(b)为经本发明方法增强处理后的图像。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明做进一步详细的描述。
如图1所示，本发明提供的一种端到端抗块效应低照度图像增强方法，具体包括以下步骤：
步骤S1、构造训练数据集：
为了训练端到端图像增强网络，以指导网络参数的调整，构造训练数据集。该训练数据集是由多个数据对组成的序列集，每个数据对是由压缩低照度图像和压缩低照度图对应的真值图像组成，其中真值图指的是正常照度图像。作为一种实施方式，首先可以获取各种场景下的多个低照度图像以及与低照度图像对应的真值图像来作为数据对，数据对可以是从网页上下载的图像，也可以是由专业相机拍摄的图像等。例如，通过调节相机曝光时间来获得明暗图片对,或以原图作为真值图，通过调节曝光曲线人工合成低照度图片，以此构成的数据对。
步骤S2、数据处理：
先将数据对中的低照度图像和真值图，采用每间隔64个像素裁剪一次的方式，沿块边界对低照度图和对应的真值图进行裁剪，得到目标尺寸为128×128的低照度图像和真值图像；裁剪过程中，应注意保持块结构完整，且对低照度图像和真值图像的裁剪方式一致。这样的裁剪方式一方面能够减少运算的复杂度，提升压缩低照度图像增强处理效率；另一方面减少计算误差，使压缩低照度图像增强清晰度提升。
然后使用有损压缩技术压缩训练数据集中的所有低照度图像，保持真值图像的图像质量；并根据使用需求将处理好的数据集分成测试数据和训练数据
步骤S3、构建端到端图像增强网络；
本实施例所选择的端到端图像增强网络结构如图2所示：包括增强主干网络和去块分支网络。所述增强主干网络是以卷积层作为基本单元的U型编解码网络，其中编码网络输入压缩低照度图像，输出卷积特征图；解码网络输入卷积特征图，输出网络预测图像；在U型编解码网络中，编码网络的卷积特征图和与之相同维度的解码网络的卷积特征图进行跳跃连接。所述去块分支网络是由一个卷积核尺寸为8×8的卷积组和一个卷积核尺寸为12×12的卷积组构成；去块分支网络输入压缩低照度图像，输出用于补偿卷积特征图的块边界补偿图。
由此可知，本实施例中的端到端图像增强网络区别于现有的深度学习网络结构，在增强主干网络中，将编码网络中学习的信息输入到解码网络中，且通过跳跃连接加快网络收敛速度。在输入层与编码网络之间增加了去块分支网络，去块分支网络学习得到块边界补偿图，对增强主干网络在特征层面进行补偿，促进块效应的消除。
步骤S4、训练：将训练数据输入到端到端图像增强网络，进行端到端的增强训练；同时通过损失函数对端到端图像增强网络进行优化，得到完成训练的端到端图像增强网络。
本实施例中将训练数据中的压缩低照度图像输入编码网络后通过一个3×3卷积后，再通过3×3卷积+maxpooling+Relu激活函数来对特征进行下采样，一共下采样3次，每个maxpooling的下采样倍数为2；解码网络通过resize+3×3卷积进行上采样，一共上采样3次，每次resize的上采样倍数为2，最后通过1×1卷积融合不同层次的卷积特征图，输出网络预测图。
压缩低照度图像输入去块分支网络后先通过卷积核尺寸分别为8×8和12×12的卷积组，采用逐点求差的方式计算出卷积结果的残差，再通过Tanh激活函数，得到块边界补偿图，通过块边界补偿图对编码网络输出的卷积特征图以逐像素相加的形式进行融合，实现对压缩低照度图像的补偿。
为了得到最优的端到端图像增强网络，需要在训练过程中对端到端图像增强网络进行优化，本实施例中，所述端到端图像增强网络优化步骤包括：
步骤S401、使用均方误差损失函数LMSE＝||Ipre-Igt||最小化网络预测图与真值图的均方二范数差值；其中，||·||为2范数，Ipre为网络预测图，Igt为真值图。
步骤S402、计算压缩图片的块边界差值损失，采用边界差值损失函数来平滑块边界；所述边界差值损失的计算步骤包括：
将一张压缩图像划分为M×N个8×8块，确定出位于垂直边界上的像素点和位于水平边界上的像素点；在该图像中，所述像素点可表示为P(x,y)(0≤x≤8M,0≤y≤8N)；其中，位于垂直边界上的像素包括P(8i-1,y),P(8i,y)(i＝1,2,…,M-1)；位于水平边界上的像素包括P(x,8j-1),P(x,8j)(j＝1,2,…,N-1)；然后，根据垂直边界上的像素点和水平边界上的像素点计算出损失值
步骤S403、构建一个块特征提取网络，分别提取网络预测图的块特征Fp和真值图的块特征Fg；根据网络预测图的块特征Fp和真值图的块特征Fg计算出网络预测图与真值图之间的块相似损失函数Lbs＝||S(Fp)-S(Fg)||2。
所述块相似损失函数的计算步骤包括：
构建一个块特征提取网络，块特征提取网络包括一个步长为8的8×8卷积层和两个步长为1的1×1卷积层；通过通道数为20的块特征提取网络，则一张内含50×75个8×8块的图像将映射为50×75×20维度的块特征，每一个块映射为1×1×20维度的特征向量。将Fp和Fg的形状调整为(50·75)×20，计算Fp和Fg内各个特征向量的余弦相似度得到余弦相似矩阵，公式如下：
式中，Fp,i表示Fp中第i个特征向量，S(·)i,j表示余弦相似矩阵第i行j列元素。
通过上述余弦相似矩阵计算出块相似损失函数Lbs＝||S(Fp)-S(Fg)||2
步骤S404、采用结构相似性(SSIM)构造结构相似损失Ls：Ls＝1-SSIM(Ipre,Igt)其中，SSIM(Ipre,Igt)表示Ipre与Igt的结构相似性。
步骤S405、通过计上述步骤计算出的LMSE、Lbgrad、Lbs、Ls送入端到端网络，调整端到端网络训练参数；并通过最小化以下损失函数Ltotal优化网络模型：
Ltotal＝LMSE+ωbgradLbgrad+ωbsLbs+ωsLs，其中ωbgrad、ωbs和ωs表示权重系数。本实施方案中，ωbgrad、ωbs和ωs取值分别为0.05、3和0.3。
步骤S5、测试：将测试数据输入完成训练的端到端图像增强网络得到最终的增强图像。
为了进一步的说明本实施例所提供的图像增强方法的优点，将15张压缩低照度压缩测试图片按照本发明提供的方法进行增强处理，并对比这15张压缩低照度压缩图片增强前与增强后图像清晰效果。对比结果如下：
15张压缩低照度图片在未增强时，平均PSNR(峰值信噪比)为7.766，SSIM(结构相似性指标)为0.0522；经过本发明算法增强，PSNR提高至19.263，SSIM提高至0.3292。
图3(a)低照度图像，图3(b)为经本发明方法增强处理后的图像。对比图3(a)和图3(b)可知，经本发明提供的端到端抗块效应低照度图像增强方法处理后的图像更加清楚。
综上所述，本发明的端到端抗块效应低照度图像增强方法，解决了有损压缩低照度像块效应被放大的问题。
上述实施例仅说明本发明的原理及功效，而非用于限制本发明，仅为帮助理解本发明原理，本发明保护范围亦不限于上述的配置和实施例，本领域技术人员可以根据公开技术做出不脱离本发明实质的其他各种具体变形与组合，但仍在本发明的保护范围内。
Claims (2)
1.一种端到端抗块效应低照度图像增强方法，其特征在于，包括下列步骤：
步骤S1、构造训练数据集：为了训练端到端图像增强网络，构造训练数据集，该训练数据集是由多个数据对组成的序列集，每个数据对是由低照度图像和低照度图像对应的真值图像组成，其中真值图指的是正常照度图像；
步骤S2、数据处理：使用有损压缩技术压缩训练数据集中的所有低照度图像，保持真值图像的图像质量；并根据使用需求将处理好的数据集分成测试数据和训练数据；
步骤S3、构建端到端图像增强网络：端到端图像增强网络输入为压缩低照度图像，输出为增强图像；端到端图像增强网络包括增强主干网络和去块分支网络；
所述增强主干网络是以卷积层作为基本单元的U型编解码网络，其中编码网络输入压缩低照度图像，输出卷积特征图；解码网络输入卷积特征图，输出网络预测图像；在U型编解码网络中，编码网络的卷积特征图和与之相同维度的解码网络的卷积特征图进行跳跃连接；
所述去块分支网络是由一个卷积核尺寸为8×8的卷积组和一个卷积核尺寸为(8+ε)×(8+ε)的卷积组构成；其中，ε为两组卷积核的尺寸差，ε的取值范围为1～8的整数；去块分支网络输入压缩低照度图像，输出用于补偿卷积特征图的块边界补偿图；
步骤S4、训练：将训练数据送入端到端图像增强网络，进行端到端的增强训练；同时通过损失函数对端到端图像增强网络进行优化，得到完成训练的端到端图像增强网络；端到端的增强网络训练的具体过程如下：
编码网络对输入的压缩低照度图像通过一个3×3卷积后，再通过3×3卷积+maxpooling+Relu激活函数来对特征进行下采样，一共下采样n次，每个maxpooling的下采样倍数为2；解码网络通过resize+3×3卷积进行上采样，一共上采样n次，每次resize的上采样倍数为2，最后通过1×1卷积融合不同层次的卷积特征图，输出网络预测图像；
去块分支网络输入的压缩低照度图像先通过卷积核尺寸分别为8×8和(8+ε)×(8+ε)的卷积组计算出卷积结果残差，再通过Tanh激活函数，得到块边界补偿图，通过块边界补偿图对编码网络输出的卷积特征图相加实现对压缩低照度图像的补偿；
通过损失函数对端到端图像增强网络进行优化的具体内容如下：
步骤S401、使用均方误差损失函数LMSE＝||Ipre-Igt||最小化网络预测图与真值图的均方二范数差值；其中，||·||为2范数，Ipre为网络预测图，Igt为真值图；
步骤S402、计算压缩图片的块边界差值损失，采用边界差值损失函数来平滑块边界；所述边界差值损失的计算步骤包括：
将一张压缩图像划分为M×N个8×8块，确定出位于垂直边界上的像素点和位于水平边界上的像素点；在该图像中，所述像素点表示为P(x,y)(0≤x≤8M,0≤y≤8N)；其中，位于垂直边界上的像素包括P(8i-1,y),P(8i,y)(i＝1,2,…,M-1)；位于水平边界上的像素包括P(x,8j-1),P(x,8j)(j＝1,2,…,N-1)；然后，根据垂直边界上的像素点和水平边界上的像素点计算出损失值
步骤S403、构建一个块特征提取网络，分别提取网络预测图的块特征Fp和真值图的块特征Fg；根据网络预测图的块特征Fp和真值图的块特征Fg计算出网络预测图与真值图之间的块相似损失函数Lbs＝||S(Fp)-S(Fg)||2；
步骤S404、采用结构相似性SSIM构造结构相似损失Ls,结构相似损失Ls＝1-SSIM(Ipre,Igt)，其中，SSIM(Ipre,Igt)表示Ipre与Igt的结构相似性；
步骤S405、通过计上述步骤计算出的LMSE、Lbgrad、Lbs、Ls送入端到端网络，调整端到端网络训练参数；并通过最小化以下损失函数Ltotal优化网络模型：
Ltotal＝LMSE+ωbgradLbgrad+ωbsLbs+ωsLs，其中ωbgrad、ωbs和ωs表示权重系数；
步骤S5、测试：将测试数据输入完成训练的端到端图像增强网络得到最终的增强图像。
2.根据权利要求1所述的一种端到端抗块效应低照度图像增强方法，其特征在于：所述步骤S2中对训练数据集处理步骤还包括：
采用每间隔i个像素裁剪一次的方式，沿块边界对低照度图和对应的真值图进行裁剪，得到目标尺寸的低照度图像和真值图像目标尺寸图像；对低照度图像和真值图像的裁剪方式一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110056964.8A CN112819707B (zh) | 2021-01-15 | 2021-01-15 | 一种端到端抗块效应低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110056964.8A CN112819707B (zh) | 2021-01-15 | 2021-01-15 | 一种端到端抗块效应低照度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819707A CN112819707A (zh) | 2021-05-18 |
| CN112819707B true CN112819707B (zh) | 2022-05-03 |
Family
ID=75869487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110056964.8A Active CN112819707B (zh) | 2021-01-15 | 2021-01-15 | 一种端到端抗块效应低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819707B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239603A (zh) * | 2022-09-23 | 2022-10-25 | 成都视海芯图微电子有限公司 | 一种基于多分支神经网络的无人机航拍图像暗光增强方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606134A (zh) * | 2013-11-26 | 2014-02-26 | 国网上海市电力公司 | 一种弱光照视频图像的增强方法 |
| CN106709890A (zh) * | 2017-01-18 | 2017-05-24 | 聚龙智瞳科技有限公司 | 用于低照度视频图像处理的方法及装置 |
| CN108876737A (zh) * | 2018-06-06 | 2018-11-23 | 武汉大学 | 一种联合残差学习和结构相似度的图像去噪方法 |
| CN109523474A (zh) * | 2018-10-19 | 2019-03-26 | 福州大学 | 一种基于雾天退化模型的低照度图像增强方法 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
| CN111415311A (zh) * | 2020-03-27 | 2020-07-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN111915525A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 基于改进深度可分离生成对抗网络的低照度图像增强方法 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112703509A (zh) * | 2018-08-07 | 2021-04-23 | 布赖凯科技股份有限公司 | 用于图像增强的人工智能技术 |
-
2021
- 2021-01-15 CN CN202110056964.8A patent/CN112819707B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606134A (zh) * | 2013-11-26 | 2014-02-26 | 国网上海市电力公司 | 一种弱光照视频图像的增强方法 |
| CN106709890A (zh) * | 2017-01-18 | 2017-05-24 | 聚龙智瞳科技有限公司 | 用于低照度视频图像处理的方法及装置 |
| CN108876737A (zh) * | 2018-06-06 | 2018-11-23 | 武汉大学 | 一种联合残差学习和结构相似度的图像去噪方法 |
| CN109523474A (zh) * | 2018-10-19 | 2019-03-26 | 福州大学 | 一种基于雾天退化模型的低照度图像增强方法 |
| CN110675328A (zh) * | 2019-08-02 | 2020-01-10 | 北京巨数数字技术开发有限公司 | 基于条件生成对抗网络的低照度图像增强方法及装置 |
| CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
| CN111415311A (zh) * | 2020-03-27 | 2020-07-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN111915525A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 基于改进深度可分离生成对抗网络的低照度图像增强方法 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
Non-Patent Citations (3)
| Title |
|---|
| Low-Light Image Enhancement Based On Modified U-Net;Yuantian Cai等;《2019 International Conference on Wavelet Analysis and Pattern Recognition (ICWAPR)》;20200102;第1-7页 * |
| 一种基于U-Net生成对抗网络的低照度图像增强方法;江泽涛等;《电子学报》;20200209;第48卷(第2期);第258-264页 * |
| 基于CUDA的多尺度Retinex图像增强算法实现;刘昌忠等;《计算机应用》;20100930;第30卷(第9期);第2441-2443页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819707A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN108184129B (zh) | 一种视频编解码方法、装置及用于图像滤波的神经网络 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN108900848B (zh) | 一种基于自适应可分离卷积的视频质量增强方法 | |
| CN111866521B (zh) | 一种视频图像压缩伪影去除方法 | |
| CN102158712B (zh) | 一种基于视觉的多视点视频信号编码方法 | |
| CN108921910B (zh) | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 | |
| CN115606179A (zh) | 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器 | |
| CN113781320A (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
| CN113592746B (zh) | 一种由粗到细地融合时空信息的压缩视频质量增强方法 | |
| CN112215767B (zh) | 一种抗块效应的图像视频增强方法 | |
| CN117011194A (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| CN115552905A (zh) | 用于图像和视频编码的基于全局跳过连接的cnn滤波器 | |
| CN115984570A (zh) | 一种视频去噪方法、装置、存储介质和电子装置 | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| CN112819707B (zh) | 一种端到端抗块效应低照度图像增强方法 | |
| CN116542889A (zh) | 一种拥有稳定视点的全景视频增强方法 | |
| CN114463196A (zh) | 一种基于深度学习的图像校正方法 | |
| CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| Wu et al. | MPCNet: Compressed multi-view video restoration via motion-parallax complementation network | |
| CN101959073B (zh) | 影像处理装置以及影像处理方法 | |
| Zhang et al. | A Unified Image Preprocessing Framework For Image Compression | |
| CN114554213B (zh) | 一种运动自适应和关注细节的压缩视频质量增强方法 | |
| CN115456903B (zh) | 一种基于深度学习的全彩夜视增强方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |