CN110120019A - 一种基于特征增强的残差神经网络及图像去块效应方法 - Google Patents
一种基于特征增强的残差神经网络及图像去块效应方法 Download PDFInfo
- Publication number
- CN110120019A CN110120019A CN201910342132.5A CN201910342132A CN110120019A CN 110120019 A CN110120019 A CN 110120019A CN 201910342132 A CN201910342132 A CN 201910342132A CN 110120019 A CN110120019 A CN 110120019A
- Authority
- CN
- China
- Prior art keywords
- block
- image
- feature
- residual
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 52
- 230000000694 effects Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 230000000903 blocking effect Effects 0.000 claims abstract description 29
- 210000005036 nerve Anatomy 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 23
- 230000006835 compression Effects 0.000 claims description 20
- 238000007906 compression Methods 0.000 claims description 20
- 238000003062 neural network model Methods 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 3
- 210000002364 input neuron Anatomy 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000012805 post-processing Methods 0.000 abstract description 5
- 230000001737 promoting effect Effects 0.000 abstract 1
- 239000000284 extract Substances 0.000 description 13
- 238000012512 characterization method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数字图像后处理领域，具体为一种基于特征增强的残差神经网络及图像去块效应方法；本发明基于特征增强的残差神经网络引入局部残差单元、全局特征增强单元和局部特征增强单元，三种基本单元相互促进极大地增强了目标神经网络的学习能力和建模能力，并可以针对图像去块效应问题建立起带有块效应的低质量图像到高质量图像的准确映射，最终能够通过建立的有效映射对给定质量的JPEG压缩图像进行处理，获得高质量的图像；本发明的图像去块效应方法，能够显著提高图像的峰值信噪比(PSNR)和结构相似度(SSIM)，并且极大地提升图像去块的效率、质量和鲁棒性，在图像后处理领域具有深远意义。
Description
技术领域
本发明涉及数字图像后处理领域，尤其涉及一种基于特征增强的残差神经网络，以及基于该残差神经网络的图像去块效应方法。
背景技术
多媒体信息主要有三种表现形式，即文本、声音和图像；其中，图像作为最常见的信息存储方式，其表现形式生动而直观，能提供比其它形式数据更多的信息；然而，图像是三种信息形式中数据量最大的，若不经过压缩，将会对数据的传输与存储造成巨大压力。图像压缩的主要任务是去除各种冗余和不相干的信息，保留有用的信息；将一个大的数据文件转换成较小的文件，以尽量少的比特数来表征图像；同时保持解码图像的质量，使它符合预定应用场合的需求。
JPEG是由国际标准化组织(ISO)和国际电信联盟(ITU)制定的第一套静态图像压缩标准，它在较低的计算复杂度下，能提供较高的压缩比与保真度。基于块的离散余弦变换(BDCT)具有良好的能量压缩和去相关的特性，因此被各种压缩标准广泛采用，JPEG标准采用8×8的BDCT变换。然而，由于每个块中DCT系数的粗糙量化和相互独立，基于BDCT的编码技术通常会导致编码图像中视觉上令人讨厌的块效应现象，即相邻图像块间灰度值的不连续跳变；在低码率下，块效应现象非常明显，这严重阻碍了图像压缩的进一步发展。图像去块效应作为一种后处理技术，不仅与现有的JPEG编码标准兼容，而且还可以缓解降低码率和保持图像质量之间的冲突。
传统的图像去块效应算法分为两类，基于图像增强的方法和基于图像恢复的方法；基于图像增强的去块效应方法的基本思想是将去块效应视为图像增强过程，在像素域和频率域中进行滤波以平滑块效应；基于图像恢复的去块效应方法通常将去块效应视为高度不适定问题，通过利用解码器端的图像先验知识和观察数据来去除块效应。
近几年，深度学习在解决诸如图像分类、目标检测和自然语言处理等很多问题中都表现出色；在不同类型的神经网络当中，卷积神经网络(CNN)是得到最深入研究的。CNN能自动提取出目标图像中的有效表征，即CNN能够直接从原始像素中，经过极少的预处理，对数据进行有效的建模。文献“Compression Artifacts Removal Using ConvolutionalNeural Net works”中首次将CNN运用于图像去块效应问题，与传统算法相比取得了很好的性能增益，但是由于网络结构简单，没能充分提取图像的特征信息。文献“An efficientdeep convolutio nal neural networks model for compressed image deblocking”中构建了一个很深的CNN，充分体现了神经网络优秀的建模能力和学习能力，但是一味地堆叠网络深度会产生新的问题；残差技术可以训练很深的网络结构，但是随着网络深度的增加，网络所提取特征的数目越来越多，级联操作的使用产生了特征冗余的现象，阻碍了网络性能的提升。
发明内容
本发明的目的在于针对上述技术问题，提出一种基于特征增强的残差神经网络及基于该残差神经网络的图像去块效应方法；本发明充分考虑特征的重要性程度，分两步进行特征增强：第一步增强表征能力强的整体特征，第二步增强表征能力强的单个特征区域；经过两步特征增强消除了特征冗余的现象，并能够显著提高图像的峰值信噪比(PSNR)和结构相似度(SSIM)，具有去块效果好、速度快和鲁棒性强等优点。
为了达到上述目的，本发明采用以下技术方案：
一种基于特征增强的残差神经网络，包括：2个卷积层、N个局部残差单元、N-1个全局特征增强单元和1个局部特征增强单元，N≥2；其特征在于，所述N个局部残差单元与N-1个全局特征增强单元按照每两个局部残差单元中间连接一个全局特征增强单元的规则依次连接后作为一条支路，所述局部特征增强单元作为另一条支路；输入图像经过一个卷积层提取的浅层特征分别输入至两条支路，两条支路的输出相乘后再经过另一个卷积层，输出残差图像。
优选的，所述全局特征增强单元包括：池化块、卷积块和降维块；其中，所述池化块中含有A个池化层，卷积块中含有B个带有Sigmoid激活函数的1×1卷积层、降维块中含有一个没有激活函数的1×1卷积层和C个带有ReLU激活函数的3×3卷积层；输入特征依次经过池化块、卷积块后与输入特征相乘进行全局特征增强，全局特征增强后经过降维块降维输出。
优选的，所述局部特征增强单元包括：第一递归局部残差块、第二递归局部残差块、第一级联层及卷积层；其中，所述第一递归局部残差块包含D个带有ReLU激活函数的卷积层，第二递归局部残差块包含E个带有ReLU激活函数的卷积层，其中D、E可相等也可不等；所述第一递归局部残差块中每D个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为p，所述第二递归局部残差块中每E个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为q，且p≠q；所述第一递归局部残差块递归F次，第二递归局部残差块递归G次，其中F、G可相等也可不等；每个递归局部残差块每次递归后的输出特征输入到第一级联层，第一级联层后接卷积层输出。
优选的，所述局部残差单元包括：H个局部残差块、第三递归局部残差块和第二级联层，所述H个局部残差块和第三递归局部残差块中卷积层均采用ReLU激活函数、且卷积核大小相同；其中，每个所述局部残差块中每I个卷积层视为一组卷积进行跳跃连接，第三递归局部残差块中每J个卷积层视为一组卷积进行跳跃连接，且第三递归局部残差块递归K次，其中I、J可相等也可不等；所述H个局部残差块和第三递归局部残差块依次首尾连接，每个局部残差块以及第三递归局部残差块的每次递归输出特征均输入到第二级联层。
优选地，所述H个局部残差块、第一至第三递归局部残差块中，所述局部残差均采用特征缩放技术后再将输入与输出恒等连接。
基于上述残差神经网络的图像去块效应方法，包括以下步骤：
步骤1：搭建特征增强残差神经网络模型；
步骤2：选定JPEG压缩的质量以及图片集合生成训练集，并设置训练目标神经网络的参数；
步骤3：根据所述特征增强残差神经网络模型，以最小化损失函数为目标训练相应的目标神经网络模型；
步骤4：根据训练得到的目标神经网络模型，将具有给定质量的JPEG压缩图像输入到目标神经网络模型，输出去块后的高质量图像。
优选地，步骤2中选定JPEG压缩质量选择单个的质量、或者特定范围的多个质量；在设置所述特征增强残差神经网络模型的训练参数之前还包括：首先，对训练集中高质量图像进行数据增强，即旋转和镜像对称；然后，根据指定质量将高质量图像进行JPEG压缩，得到带有块效应的低质量图像；最后，再将所述带有块效应的低质量图像和对应的高质量图像分割成多个带有块效应的低质量图像块和高质量图像块，其中，所述带有块效应的低质量图像块和所述高质量图像块的数量和大小都相同。
优选地，步骤3中的损失函数为平均绝对误差(MAE)函数：
其中，xi、yi分别为选取训练集中带有块效应低质量图像块和对应的高质量图像块，i为图像块的个数索引，θ表示网络的学习参数，M表示图像块的总个数，f(·)函数表示训练出的从带有块效应低质量图像到高质量图像的映射。
优选地，步骤3中在训练所述特征增强残差神经网络模型的过程中，所述特征增强残差神经网络中参数θ的初始化采用Xavier方法，即服从均值为0方差为Var(θ)的分布：
其中，nin表示输入神经元的个数，nout表示输出神经元的个数；最小化损失函数采用Adam优化方法。
优选地，步骤4中的测试图像应与步骤3中的训练图像具有相同的JPEG压缩质量，若步骤3中采用范围内多个质量的JPEG压缩图像进行训练，则步骤4中测试图像的JPEG压缩质量选取所述范围内的任意数值。
与现有技术相比，本发明的有益效果在于：
本发明的基于特征增强的残差神经网络及图像去块效应方法，引入局部残差单元、全局特征增强单元和局部特征增强单元，三种基本单元相互作用极大地增强了目标神经网络的学习能力和建模能力，并可以针对图像去块效应问题建立起带有块效应的低质量图像到高质量图像的准确映射，最终能够通过建立的有效映射对给定质量的JPEG压缩图像进行处理，获得高质量的图像；通过本发明的图像去块效应方法，能够显著提高图像的峰值信噪比(PSNR)和结构相似度(SSIM)，并且极大地提升图像去块的效率、质量和鲁棒性，在图像后处理领域具有深远意义。
进一步的，本发明还具有以下有益效果：
本发明搭建的特征增强残差神经网络模型具有模块化的性质，不同的单元具有不同的功能，局部残差单元目的在于学习局部残差，全局特征增强单元目的在于增强整体特征和降维，局部特征增强单元目的在于增强单个特征中的局部特征区域，其中每两个局部残差单元中间连接一个全局特征增强单元；按照上述连接方式，网络可以堆叠很多局部残差单元和全局特征增强单元，在保证高效提取特征的前提下增加网络深度，从而提高网络非线性的建模能力和学习能力。
本发明搭建的特征增强残差神经网络模型中的每个局部残差单元中含有多个局部残差块，每个局部残差块由一个跳跃连接构成，每次跳跃连接进行一次残差加和，多重残差加和不仅极大地降低了网络的学习难度，而且充分地利用了残差学习的优秀性质；局部残差单元中的局部残差学习和网络整体的全局残差学习相互作用，更进一步提高了网络的性能和收敛速度；每个局部残差单元中除了最后一个局部残差块采用递归连接的方式其它局部残差块均采用普通连接方式，递归连接不仅可以在降低网络参数的前提下增加网络深度，从而增加网络的非线性建模能力，而且最后一个递归局部残差块还可以对之前的局部残差块学习的特征进行自适应修正，从而获得表征能力更强的残差特征；同时局部残差单元中引入了改进的密集连接方式，即以一个局部残差块为密集连接的基本单元，这有效地避免了特征数目的激增，降低了特征降维的难度。
本发明搭建的特征增强残差神经网络模型中的每个全局特征增强单元采用最大池化层和全局平均池化层来提取每个特征所含信息量多少的特征，其中最大池化层可以有效的获取特征响应最强的局部信息，全局平均池化层考虑特征的全局信息，将每个特征图抽象为单个的特征标量，即每个特征所含信息量的多少；通过1×1卷积层来代替全连接层进行特征之间的信息交互，并且采用Sigmoid激活函数将特征标量映射为0到1之间系数作为每个特征的重要性系数，用作全局特征增强，即第一步特征增强；第一步特征增强不仅提高了每个特征的表征能力，而且及大地降低了特征降维的难度，从而增加了网络的特征选择和建模能力。
本发明搭建的特征增强残差神经网络模型中的局部特征增强单元单独作为一条支路来提取和主路不同的特征信息，即直接提取特征重要性图；采用两个卷积核大小不同的递归局部残差块来提取特征的多尺度信息，多尺度卷积可以更充分的提取不同种类的信息，而且不同尺寸卷积核的递归堆叠还会使得所述支路具有不同大小的感知野，有利于获取更加高效的特征表示；通过带有Sigmoid激活函数的普通卷积层将级联后的多尺度信息映射为每个特征的重要性图，用作局部特征增强，即第二步特征增强；第二步特征增强是对第一步特征增强的补充，将特征增强从全局层面过渡到局部层面，进一步精细化了特征的表征能力，使得网络的性能有极大的提升。
附图说明
图1为本发明基于特征增强的残差神经网络的内部结构示意图。
图2为图1中的全局特征增强单元的结构示意图。
图3为图1中的局部特征增强单元的结构示意图。
图4为图1中的局部残差单元的结构示意图。
图5为本发明基于特征增强的残差神经网络图像去块效应方法的流程图。
图6为图3中的ReLU函数的示意图。
图7为图4中的Sigmoid函数的示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
本实施例提供一种基于特征增强的残差神经网络的图像去块效应方法，其流程示意图如图5所示；包括以下步骤：
步骤1：搭建特征增强残差神经网络模型；
所述特征增强残差神经网络模型如图1所示，包括：2个卷积层、3个局部残差单元、2个全局特征增强单元和1个局部特征增强单元，所述3个局部残差单元与2个全局特征增强单元按照每两个局部残差单元中间连接一个全局特征增强单元的规则依次连接后作为一条支路，所述局部特征增强单元作为另一条支路；输入图像经过一个卷积层提取的浅层特征分别输入至两条支路，两条支路的输出相乘后再经过另一个卷积层，输出残差图像。
如图2所示，所述全局特征增强单元包括：池化块、卷积块和降维块；其中，所述池化块中含有依次连接的2×2最大池化层和全局平均池化层，卷积块中含有2个带有Sigmoid激活函数的1×1卷积层，降维块中含有1个没有激活函数的1×1卷积层和1个带有ReLU激活函数的3×3卷积层；输入特征依次经过池化块、卷积块后与输入特征相乘进行全局特征增强，全局特征增强后经过降维块降维输出；本实施例中，两个池化层分两步提取每个特征图所含信息量多少的特征，最大池化层提取特征响应最强的局部信息，全局平均池化层考虑每个特征图的全局信息；所述卷积块包含两个带有Sigmoid激活函数的1×1卷积层，目的是为了实现特征通道之间的信息交互，并产生每个特征的重要性权重用作全局特征增强；降维块中第一个无激活函数的1×1卷积层将特征数目通过线性变换转换到特定数目(本实例中为64)，第二个带有ReLU激活函数的3×3卷积层则是为了给降维后特征施加非线性属性，两者结合实现了特征降维，避免了特征冗余现象的发生。
如图3所示，所述局部特征增强单元包括：第一递归局部残差块、第二递归局部残差块、第一级联层及卷积层；其中，所述第一递归局部残差块包含2个带有ReLU激活函数的3×3卷积层，第二递归局部残差块包含2个带有ReLU激活函数的5×5卷积层；所述第一递归局部残差块递归3次，第二递归局部残差块递归3次；每个递归局部残差块每次递归后的输出特征输入到第一级联层，所述第一级联层后接卷积层输出；本实施例中，选用两种不同卷积核大小的卷积操作提取多尺度特征信息，并且采用递归连接的形式，不仅可以减少网络的参数而且还可以提高网络的鲁棒性；卷积层采用带有Sigmoid激活函数的3×3卷积层，是为了将级联得到的多尺度信息转换为每个特征的重要性图，用作局部特征增强。
如图4所示，所述局部残差单元包括：2个局部残差块、第三递归局部残差块和第二级联层，所述2个局部残差块和第三递归局部残差块中卷积层均采用ReLU激活函数、且卷积核大小均为3×3；其中，每个所述局部残差块中每2个卷积层视为一组卷积进行跳跃连接，第三递归局部残差块中每2个卷积层视为一组卷积进行跳跃连接，且第三递归局部残差块递归3次；所述2个局部残差块和第三递归局部残差块依次首尾连接，每个局部残差块以及第三递归局部残差块的每次递归输出特征均输入到第二级联层；第二级联层级联多个局部残差块中提取的5组特征(其中有3组是通过递归得到)，特征级联是为了增加网络中信息的流动性，使得前几层的特征信息可以共同作用于下一层的特征提取；本实施例中，局部残差单元共有5次跳跃连接，每个局部残差块中的跳跃连接单元不是直接采取恒等映射将输入和输出连接起来，而是引入特征缩放技术，在进行恒等映射之前首先用一个小于1的系数α对特征进行缩放，特征缩放使得训练深层网络的时候，训练过程更加稳定(本实例中α＝0.05)；另外，选用3×3的卷积层一方面有很好的特征提取的效果，另一方面参数数量少，计算成本低，方便实现。
通常情况下，卷积神经网络将前一层提取到的特征直接输入到下一层中，所有特征一视同仁，并没有考虑特征之间以及特征不同部分之间的重要性；事实上，不同特征所含有信息量的多少是不同的，同一特征中不同的特征区域也具有不同的信息量，并不是所有的特征都对后续特征的提取具有促进作用。大多网络结构采用级联的方式使得的浅层特征也可以作用于深层特征的提取，一定程度上增加了网络中信息的流通，但是随着网络深度的增加简单的级联操作会导致特征冗余现象。本发明引入的全局特征增强单元和局部特征增强单元分两步对特征进行增强，第一步对特征整体进行增强，即全局特征增强，第二步对每个特征的部分区域进行增强，即局部特征增强；全局和局部特征增强，充分考虑了不同特征以及单个特征中不同特征区域的重要性程度，对网络提取的原始特征进行了精细化操作，大大提高了网络的表征能力，提高了网络的特征选择能力。
步骤2：选定JPEG压缩的质量以及图片集合生成训练集，并设置训练目标神经网络的参数；
训练集选取BSD500中的500张图像作为训练集，通过给定的质量(可以是某个定值，也可以是某个范围)对高质量图像进JPEG压缩得到带有块效应的低质量图像；然后设置特征增强残差神经网络模型的训练参数，包括每次输入模型训练的图像块数量、输入图像块和输出图像块的大小、图像深度、学习速率等。为了扩大数据集，首先进行数据增强，采用旋转(90°、180°和270°)和镜像对称，然后将训练集中带有块效应的低质量图像和对应的高质量图像分别分割成同一分辨率的图像块，其中带有块效应的低质量图像块和对应的高质量图像块的数量和大小都相同，增大数据集可以有效地避免训练过程中的过拟合现象；每次卷积都要进行零填充操作(即图像的大小不会根据卷积核的大小而减小，即输入和输出大小一致)。在本实施例中，将训练集中带有块效应的低质量图像分割成40×40的带有块效应的低质量图像块，将对应的高质量图像分割成40×40的高质量图像块，使得在训练模型时能够更好地捕捉图像的结构信息和细节信息；每次输入模型训练的图像块的数量为64(在其他实施例中，还可以取16、32、128中的任意值)；默认针对的是灰度图像的去块效应，图像深度设为1(彩色图像仅需将图像深度更改为3即可)；学习速率设为0.0001(在其他实施例中，还可以取0.01-0.00001中的任意值)，每次训练时的衰减速率设为0.9(在其他实施例中，还可以取0.1-0.9中的任意值)；每训练1000次进行一次测试(在其他实施例中，还可以取500-5000中的任意值)，根据模型在验证集上的效果更改模型的相关参数。其中，在选取训练集的同时还可以选取测试集，测试集选取Classic5或LIVE1图像集。
步骤3：根据所述特征增强残差神经网络模型，以最小化损失函数为目标训练相应的目标神经网络模型；
具体地，根据最小化损失函数可以获得图像去块效应问题的目标网络的残差参数和卷积层的权重和偏差，从而可以建立图像去块效应问题的目标神经网络模型。
其中损失函数(Loss函数)选为MAE函数：
其中，xi、yi分别为选取训练集中带有块效应低质量图像块和对应的高质量图像块，i为图像块的个数索引；θ表示目标神经网络的参数；M表示图像块的总个数；f(·)函数表示训练出的从带有块效应低质量图像到高质量图像的映射函数。
由于峰值信噪比(PSNR)公式为：
由上式可以看出，不断最小化损失函数就可以获得高的峰值信噪比(PSNR)，即图像的客观质量越高。
在本实施例中，最小化损失函数采用Adam优化方法，其中Adam优化方法计算方式是：
s←ρ1s+(1-ρ1)g
γ←ρ2γ+(1-ρ2)g⊙g
其中，ρ1、ρ2、ε、δ均为常数(默认值分别为：ρ1＝0.9、ρ2＝0.999、ε＝0.001、δ＝10-8)，g代表损失函数关于参数θ的梯度，s代表有偏一阶矩估计，γ代表有偏二阶矩估计，代表修正一阶矩的偏差，代表修正二阶矩的偏差，Δθ代表参数θ的变化。可以看出Adam优化方法参数的更新不受梯度的伸缩变换影响,并且可以自适应调整学习率；除此之外该算法实现简单，计算高效，对内存需求少。
在本实施例中，特征增强残差神经网络模型的权重θ的初始化采用Xavier方法：
其中，nin表示输入神经元的个数，nout表示输出神经元的个数，权重θ初始化服从均值为0方差为Var(θ)的分布；Xavier参数初始化方法可以提高网络的训练的效率，并且可以提升网络的性能。
步骤4：根据训练得到的目标神经网络模型，将具有给定质量的JPEG压缩图像输入到目标神经网络模型，输出去块后的高质量图像。
在步骤2中的训练集中选取给定质量进行JPEG压缩构成训练集，步骤3中对给定质量的JPEG压缩图像进行训练，得到针对该质量的去块效应目标神经网络模型，步骤4中将带有块效应的低质量图像输入到目标神经网络模型，即可得到对应的高质量图像，其中给定质量可以是一个固定的数值也可以是一个范围(范围区间长度最大值为5)，选定范围质量时，步骤4中的输入图像经过范围内任何质量JPGE压缩均可。
在本实施例中，在质量为10的情况下，Classic5测试集(包含5张图像大小为512×512的灰度图像)的平均PSNR为27.82dB，经过模型映射后，对应高质量图像的平均PSNR为29.71dB；LIVE1测试集(包含29张彩色图像，将其转化为YUV颜色空间取Y通道图像)的平均PSNR为27.77dB，经过模型映射后，对应高质量图像的平均PSNR为29.44dB；通过本发明训练的基于特征增强的残差神经网络模型，极大地提高了图像的客观质量，视觉效果也令人满意；结果对比如下表所示：
根据本发明的图像去块效应方法，可以提前训练好目标神经网络模型，目标神经网络模型即是端对端的直接由输入带有块效应的低质量图像到输出高质量图像的映射，通过该目标神经网络模型对图像进行去块效应的速度极快，有很强的实用价值，在需要实时去块效应的场合将会有很大的应用；除了速度快、去块效果好等优点，本发明还有很强的鲁棒性，针对不同类型以及不同质量的带有块效应的低质量图像，去块效果的客观增益和主观增益均没有太大波动。因此，本发明所提供的基于特征增强的残差神经网络去块效果好、速度快、鲁棒性强，有很强的实用性和实时性，市场前景广阔，尤其是对实时性要求很高的场合。
本发明基于特征增强残差神经网络的图像去块效应方法，可以精确地学习从带有块效应的低质量图像到高质量图像的映射；局部残差和全局残差相结合可以加快网络的收敛速度；采用模块化的网络结构使得本发明的神经网络具有可解释性；两种特征增强单元，增强了原始特征表征能力，消除了特征冗余现象。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (10)
1.一种基于特征增强的残差神经网络，包括：2个卷积层、N个局部残差单元、N-1个全局特征增强单元和1个局部特征增强单元，N≥2；其特征在于，所述N个局部残差单元与N-1个全局特征增强单元按照每两个局部残差单元中间连接一个全局特征增强单元的规则依次连接后作为一条支路，所述局部特征增强单元作为另一条支路；输入图像经过一个卷积层提取的浅层特征分别输入至两条支路，两条支路的输出相乘后再经过另一个卷积层，输出残差图像。
2.按权利要求1所述基于特征增强的残差神经网络，其特征在于，所述全局特征增强单元包括：池化块、卷积块和降维块；其中，所述池化块中含有A个池化层，卷积块中含有B个带有Sigmoid激活函数的1×1卷积层、降维块中含有一个没有激活函数的1×1卷积层和C个带有ReLU激活函数的3×3卷积层；输入特征依次经过池化块、卷积块后与输入特征相乘进行全局特征增强，全局特征增强后经过降维块降维输出。
3.按权利要求1所述基于特征增强的残差神经网络，其特征在于，所述局部特征增强单元包括：第一递归局部残差块、第二递归局部残差块、第一级联层及卷积层；其中，所述第一递归局部残差块包含D个带有ReLU激活函数的卷积层，第二递归局部残差块包含E个带有ReLU激活函数的卷积层；所述第一递归局部残差块中每D个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为p，所述第二递归局部残差块中每E个卷积层视为一组卷积进行跳跃连接，其中卷积层的卷积核大小均为q；所述第一递归局部残差块递归F次，第二递归局部残差块递归G次；每个递归局部残差块每次递归后的输出特征输入到第一级联层，第一级联层后接卷积层输出。
4.按权利要求1所述基于特征增强的残差神经网络，其特征在于，所述局部残差单元包括：H个局部残差块、第三递归局部残差块和第二级联层，所述H个局部残差块和第三递归局部残差块中卷积层均采用ReLU激活函数、且卷积核大小相同；其中，每个所述局部残差块中每I个卷积层视为一组卷积进行跳跃连接，第三递归局部残差块中每J个卷积层视为一组卷积进行跳跃连接，且第三递归局部残差块递归K次；所述H个局部残差块和第三递归局部残差块依次首尾连接，每个局部残差块以及第三递归局部残差块的每次递归输出特征均输入到第二级联层。
5.按权利要求1所述基于特征增强的残差神经网络，其特征在于，所述H个局部残差块、第一至第三递归局部残差块中，所述局部残差均采用特征缩放技术后再将输入与输出恒等连接。
6.一种基于特征增强的残差神经网络图像去块效应方法，包括以下步骤：
步骤1：搭建特征增强残差神经网络模型；
步骤2：选定JPEG压缩的质量以及图片集合生成训练集，并设置训练目标神经网络的参数；
步骤3：根据所述特征增强残差神经网络模型，以最小化损失函数为目标训练相应的目标神经网络模型；
步骤4：根据训练得到的目标神经网络模型，将具有给定质量的JPEG压缩图像输入到目标神经网络模型，输出去块后的高质量图像。
7.按权利要求6所述基于特征增强的残差神经网络图像去块效应方法，其特征在于，所述步骤2中选定JPEG压缩质量选择单个的质量、或者特定范围的多个质量；在设置所述特征增强残差神经网络模型的训练参数之前还包括：首先，对训练集中高质量图像进行数据增强，即旋转和镜像对称；然后，根据指定质量将高质量图像进行JPEG压缩，得到带有块效应的低质量图像；最后，再将所述带有块效应的低质量图像和对应的高质量图像分割成多个带有块效应的低质量图像块和高质量图像块，其中，所述带有块效应的低质量图像块和所述高质量图像块的数量和大小都相同。
8.按权利要求6所述基于特征增强的残差神经网络图像去块效应方法，其特征在于，步骤3中的损失函数为平均绝对误差(MAE)函数：
其中，xi、yi分别为选取训练集中带有块效应低质量图像块和对应的高质量图像块，i为图像块的个数索引，θ表示网络的学习参数，M表示图像块的总个数，f(·)函数表示训练出的从带有块效应低质量图像到高质量图像的映射。
9.按权利要求6所述基于特征增强的残差神经网络图像去块效应方法，其特征在于，步骤3中在训练所述特征增强残差神经网络模型的过程中，所述特征增强残差神经网络中参数θ的初始化采用Xavier方法，即服从均值为0方差为Var(θ)的分布：
其中，nin表示输入神经元的个数，nout表示输出神经元的个数；最小化损失函数采用Adam优化方法。
10.按权利要求6所述基于特征增强的残差神经网络图像去块效应方法，其特征在于，步骤4中的测试图像应与步骤3中的训练图像具有相同的JPEG压缩质量，若步骤3中采用范围内多个质量的JPEG压缩图像进行训练，则步骤4中测试图像的JPEG压缩质量选取所述范围内的任意数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910342132.5A CN110120019B (zh) | 2019-04-26 | 2019-04-26 | 一种基于特征增强的残差神经网络及图像去块效应方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910342132.5A CN110120019B (zh) | 2019-04-26 | 2019-04-26 | 一种基于特征增强的残差神经网络及图像去块效应方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110120019A true CN110120019A (zh) | 2019-08-13 |
| CN110120019B CN110120019B (zh) | 2023-03-28 |
Family
ID=67521522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910342132.5A Active CN110120019B (zh) | 2019-04-26 | 2019-04-26 | 一种基于特征增强的残差神经网络及图像去块效应方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110120019B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674926A (zh) * | 2019-09-06 | 2020-01-10 | 华南理工大学 | 一种用于目标重建的嵌套结构的渐进式稠密网络 |
| CN111083498A (zh) * | 2019-12-18 | 2020-04-28 | 杭州师范大学 | 一种用于视频编码帧间环路滤波的模型训练方法和使用方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111696036A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
| CN112184843A (zh) * | 2020-11-09 | 2021-01-05 | 新相微电子(上海)有限公司 | 图像数据压缩的冗余数据去除系统及方法 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
| CN112714321A (zh) * | 2020-12-18 | 2021-04-27 | 深圳大学 | 压缩视频处理方法、装置、设备及计算机可读存储介质 |
| CN113766250A (zh) * | 2020-09-29 | 2021-12-07 | 四川大学 | 一种基于采样重构和特征增强的压缩图像质量提升方法 |
| CN113780340A (zh) * | 2021-08-03 | 2021-12-10 | 苏州科亿信息科技有限公司 | 一种基于深度学习的压缩图像识别方法 |
| WO2022155799A1 (en) * | 2021-01-19 | 2022-07-28 | Alibaba Group Holding Limited | Neural network based in-loop filtering for video coding |
| CN117291962A (zh) * | 2023-11-27 | 2023-12-26 | 电子科技大学 | 一种基于通道分解的轻量神经网络的去块效应方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408522A (zh) * | 2016-06-27 | 2017-02-15 | 深圳市未来媒体技术研究院 | 一种基于卷积对神经网络的图像去噪方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 |
-
2019
- 2019-04-26 CN CN201910342132.5A patent/CN110120019B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408522A (zh) * | 2016-06-27 | 2017-02-15 | 深圳市未来媒体技术研究院 | 一种基于卷积对神经网络的图像去噪方法 |
| CN109118428A (zh) * | 2018-06-07 | 2019-01-01 | 西安电子科技大学 | 一种基于特征增强的图像超分辨率重建方法 |
| CN109087258A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 一种基于深度学习的图像去雨方法及装置 |
| CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| KE LI: "An efficient deep convolutional neural networks model for compressed image deblocking", 《2017 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674926A (zh) * | 2019-09-06 | 2020-01-10 | 华南理工大学 | 一种用于目标重建的嵌套结构的渐进式稠密网络 |
| CN111083498A (zh) * | 2019-12-18 | 2020-04-28 | 杭州师范大学 | 一种用于视频编码帧间环路滤波的模型训练方法和使用方法 |
| CN111083498B (zh) * | 2019-12-18 | 2021-12-21 | 杭州师范大学 | 用于视频编码帧间环路滤波的模型训练方法和使用方法 |
| CN111210435A (zh) * | 2019-12-24 | 2020-05-29 | 重庆邮电大学 | 一种基于局部和全局特征增强模块的图像语义分割方法 |
| CN111696036A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
| CN111696036B (zh) * | 2020-05-25 | 2023-03-28 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
| CN112215767A (zh) * | 2020-09-28 | 2021-01-12 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
| CN113766250A (zh) * | 2020-09-29 | 2021-12-07 | 四川大学 | 一种基于采样重构和特征增强的压缩图像质量提升方法 |
| CN112184843A (zh) * | 2020-11-09 | 2021-01-05 | 新相微电子(上海)有限公司 | 图像数据压缩的冗余数据去除系统及方法 |
| CN112184843B (zh) * | 2020-11-09 | 2021-06-29 | 新相微电子(上海)有限公司 | 图像数据压缩的冗余数据去除系统及方法 |
| CN112714321B (zh) * | 2020-12-18 | 2022-11-22 | 深圳大学 | 压缩视频处理方法、装置、设备及计算机可读存储介质 |
| CN112714321A (zh) * | 2020-12-18 | 2021-04-27 | 深圳大学 | 压缩视频处理方法、装置、设备及计算机可读存储介质 |
| WO2022155799A1 (en) * | 2021-01-19 | 2022-07-28 | Alibaba Group Holding Limited | Neural network based in-loop filtering for video coding |
| CN113780340A (zh) * | 2021-08-03 | 2021-12-10 | 苏州科亿信息科技有限公司 | 一种基于深度学习的压缩图像识别方法 |
| CN117291962A (zh) * | 2023-11-27 | 2023-12-26 | 电子科技大学 | 一种基于通道分解的轻量神经网络的去块效应方法 |
| CN117291962B (zh) * | 2023-11-27 | 2024-02-02 | 电子科技大学 | 一种基于通道分解的轻量神经网络的去块效应方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110120019B (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120019A (zh) | 一种基于特征增强的残差神经网络及图像去块效应方法 | |
| CN106204468B (zh) | 一种基于ReLU卷积神经网络的图像去噪方法 | |
| CN113139907B (zh) | 视觉分辨率增强的生成方法、系统、装置及存储介质 | |
| CN112653899B (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN109859106A (zh) | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 | |
| CN106683067A (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| CN107507141A (zh) | 一种基于自适应残差神经网络的图像复原方法 | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN109151475A (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| CN108875900A (zh) | 视频图像处理方法和装置、神经网络训练方法、存储介质 | |
| CN109120937A (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
| CN114821100B (zh) | 基于结构组稀疏网络的图像压缩感知重建方法 | |
| CN110188863A (zh) | 一种卷积神经网络的卷积核及其压缩算法 | |
| CN112767252B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN110490804A (zh) | 一种基于生成对抗网络的生成超分辨图像的方法 | |
| CN110136057A (zh) | 一种图像超分辨率重建方法、装置及电子设备 | |
| CN113920043A (zh) | 基于残差通道注意力机制的双流遥感图像融合方法 | |
| CN116091313A (zh) | 一种图像超分辨率网络模型和重建方法 | |
| CN116167920A (zh) | 一种基于超分辨率和先验知识的图像压缩与重建方法 | |
| CN113506224A (zh) | 基于多尺度生成对抗网络的图像修复方法 | |
| Löhdefink et al. | GAN-vs. JPEG2000 image compression for distributed automotive perception: Higher peak SNR does not mean better semantic segmentation | |
| CN116403063A (zh) | 基于多区域特征融合的无参考屏幕内容图像质量评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |