CN110796622A - 一种基于串联神经网络多层特征的图像比特增强方法 - Google Patents

一种基于串联神经网络多层特征的图像比特增强方法 Download PDF

Info

Publication number
CN110796622A
CN110796622A CN201911043280.3A CN201911043280A CN110796622A CN 110796622 A CN110796622 A CN 110796622A CN 201911043280 A CN201911043280 A CN 201911043280A CN 110796622 A CN110796622 A CN 110796622A
Authority
CN
China
Prior art keywords
bit
image
images
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911043280.3A
Other languages
English (en)
Other versions
CN110796622B (zh
Inventor
于洁潇
张春萍
刘婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201911043280.3A priority Critical patent/CN110796622B/zh
Publication of CN110796622A publication Critical patent/CN110796622A/zh
Application granted granted Critical
Publication of CN110796622B publication Critical patent/CN110796622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于串联神经网络多层特征的图像比特增强方法。包括：构建训练集，将训练集的高比特图像量化为低比特图像，高比特图像与低比特图像之间按像素求差得到残差图像，低比特图像通过零填充得到零填充高比特图像；去除VAE网络中的随机变量，将编码器生成的特征图直接输入解码器，以此为基础建立深度学习网络模型；在网络模型中加入了多个串联跳跃连接，将每一层特征图传递给之后的所有层；零填充高比特图像输入深度学习网络模型生成残差图像，使用Adam优化器训练网络；将测试集的高比特图像量化为低比特图像，将零填充高比特图像输入到加载训练模型参数后的网络中生成残差图像，残差图像与低比特图像按像素相加得到重建的高比特图像。

Description

一种基于串联神经网络多层特征的图像比特增强方法
技术领域
本发明涉及深度神经网络领域，尤其涉及一种基于串联神经网络多层特征的图像比特增强方法。
背景技术
随着可视化信息行业的发展与渗透，人们对显示器提供的视觉质量的要求也在不断提高。高清显示器和HDR(高动态范围，High Dynamic Range)显示器可以大幅度扩展显示的亮度范围，展示更多的亮度和暗部细节，为画面带来更丰富的色彩和更生动自然的细节表现，使得画面更接近人眼所见。因此，高清显示器和HDR显示器逐渐成为市场上的主流设备。
但是，受当前拍摄设备限制，大多数的图像和视频中的每个像素的每个颜色通道都用8比特存储，因此每个颜色通道最多表现出256个颜色。有一些网络摄像机甚至分别用5,6,5个比特来表示红、绿、蓝三个颜色通道。另外，图像和视频在高倍率压缩时也经常会将高比特图像压缩成低比特。
当低比特的图像在经过简单的转换后就在高比特的显示器上显示时，会出现明显的伪轮廓效应，而且在亮度比较大的区域会出现色彩失真现象[1]。因此，对于图片比特深度增强的研究有着非常重要的价值。
图像比特增强技术(Bit-depth Enhancement)是一种克服图像传感器等成像硬件固有限制、改善图像质量的技术，即借助算法从一幅低比特图像中重构高比特图像。比特增强算法可分为3个研究方向：基于简单计算、基于插值和基于深度学习的方法。基于简单计算的方法能够有效地增强图像的比特率，但是不能很好地解决图像伪轮廓的问题。基于插值的算法旨在重建退化图像丢失的比特信息，可以在很大程度上消除伪轮廓，但一般会导致图像细节和浅色轮廓模糊不清，无法重建结构复杂的图像。
近些年来，卷积神经网络凭借强大的特征学习能力和建模能力成为计算机视觉领域的研究热点。其在语义分割[2,3]，图像超分辨率[4]，目标识别和跟踪[5,6],风格迁移[7]等任务上都得到了比传统算法更好的结果。基于简单卷积神经网络的图像比特增强算法证明深度学习网络可以学习到更多的特征，能有效的模糊伪轮廓并重建高比特图像，但是在较大的颜色过渡区域，伪轮廓并不能完全消除，造成了较低的图像视觉质量。
发明内容
本发明提供了一种基于串联神经网络多层特征的图像比特增强方法，通过恢复与低比特深度图像具有相似结构的残差图像，并将重建的残差图像和低比特深度图像相加后间接恢复高比特深度图。另外，本发明将各个层次的特征串联后输入到后续卷积层，帮助底层特征直接传递到高层卷积层中，快速准确生成高质量的高比特图像，详见下文描述：
一种基于串联神经网络多层特征的图像比特增强方法，所述比特增强方法包括：
构建训练集，将训练集的高比特图像量化为低比特图像，高比特图像与低比特图像之间按像素求差得到残差图像，低比特图像通过零填充得到零填充高比特图像；
去除VAE网络中的随机变量，将编码器生成的特征图直接输入解码器，以此为基础建立深度学习网络模型；
在网络模型中加入了多个串联跳跃连接，将每一层特征图传递给之后的所有层；
零填充高比特图像输入深度学习网络模型生成残差图像，使用Adam优化器梯度下降感知损失函数训练网络；
将测试集的高比特图像量化为低比特图像，将零填充高比特图像输入到加载训练模型参数后的网络中生成残差图像，残差图像与低比特图像按像素相加得到重建的高比特图像。
所述构建训练集，还包括：
训练集由Sintel数据库中随机挑选的1000张图片构成。
所述深度学习网络模型具体为：
卷积神经网络以VAE网络为主干网络，由8个卷积层和8个转置卷积层构成，每一层后面都有批归一化层和激活函数ReLU层。
其中，所述串联多层特征具体为：
各层特征按照深度方向进行串联，即
Figure BDA0002253439330000021
其中，Xi-1为上一层的输出特征图，Xi为当前层的输出特征图，Xi+1为下一层的输入特征图。
所述损失函数具体如下：
Figure BDA0002253439330000022
Figure BDA0002253439330000023
表示第i卷积块第j层卷积层输出的特征图，Wi,j和Hi,j分别表示预训练网络的第i块第j层卷积层输出的特征图的宽度和高度；IRes表示真实的残差图像，表示由卷积神经网络重建残差图像；Nc＝5，
Figure BDA0002253439330000031
使用预训练的VGG-19网络的第1个卷积块的第2层、第2个卷积块的第2层、第3个卷积块的第3层、第4个卷积的第4层和第5个卷积块的第4层。
其中，所述测试集具体如下：
测试集由Sintel除训练集外随机抽取50张图像及UST-HK、KODAK数据库中的所有图像构成。
本发明提供的技术方案的有益效果是：
1、本发明以改进的VAE(变分自编码器，Variational Autoencoder)网络[8]为主干网络生成高比特图像和低比特图像之间的残差图像，在保留更高结构信息的同时减少网络计算量。
2、本发明通过串联跳跃连接将每一层特征图传递给之后的所有层，串联跳跃连接能稳定图像梯度，并为高层神经网络直接提供底层独立的细节特征，得到的高比特图像具有较高的视觉质量，并且具有更好的客观评价结果。
附图说明
图1为一种基于串联神经网络多层特征的图像比特增强方法的框图；
图2为卷积神经网络的卷积层；
图3为卷积神经网络的转置卷积层。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提出了一种用于图像比特增强的基于变分自编码器的多特征融合卷积神经网络，并通过梯度下降感知损失函数优化网络模型，该方法包括以下步骤：
101：对高比特无损画质的Sintel[9]、UST-HK[10]、KODAK[11]数据库中的图像进行预处理，首先将高比特图像量化到低比特图像，然后高比特图像与低比特图像按像素求差得到残差图。
其中，Sintel数据库来源于一个无损画质的动画短片，UST-HK、KODAK数据库是真实拍摄的照片。随机选取Sintel数据库中的1000张图片作为训练集，UST-HK、KODAK数据库中的全部图片和Sintel数据库中除训练集外的50张图片作为测试集。
102：本发明以改进的VAE网络作为主干网络。改进的VAE网络由卷积层和转置卷积层(Transposed Convolutional Layer)[12]两部分组成。在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有的层串联起来。为了能够保证前馈的特性，每一层将之前所有层的输入进行拼接，将输出的特征图传递给之后的所有层，最大程度上保证了生成残差图的结构完整性。
103：在训练阶段，将训练集的低比特图像反量化后得到的零填充高比特图像作为网络输入，并将网络生成的残差图和真实的残差图之间的梯度下降感知损失(PerceptualLoss)作为损失函数，通过Adam优化器[13]梯度下降损失函数训练网络模型参数。
104：在测试阶段，测试集的低比特图像反量化得到零填充高比特图像，将高比特图像通过加载训练模型参数后的改进VAE网络生成残差图，低比特图像与生成的残差图按像素相加后得到高比特图像。通过用相关客观评价标准计算生成的高比特图像和真实的高比特图像之间的相似性来验证本方法的有效性。
综上所述，本发明实施例通过步骤101至步骤104设计一种基于VAE网络的多特征串联的比特深度增强网络。低比特图像反量化得到零填充高比特图像，将其作为输入图像通过网络生成高比特图像和低比特图像之间的残差图像，与低比特图像相加得到更高质量的高比特图像。本发明从优化残差图的角度来设计网络，加入串联跳跃连接增强网络学习能力，使用梯度下降感知损失函数训练网络参数，保证了重建的高比特图像具有很高的主观视觉质量。
实施例2
下面对实施例1中的方案进行进一步地介绍，详见下文描述：
201：由于动画图像构成的Sintel数据库完全是由计算机软件生成的，图像没有噪声干扰，因此Sintel数据库中的图像往往有更平滑的颜色渐变结构，图像中的边缘和纹理也更加清晰。这种接近理想的结构特征能帮助神经网络学习平滑区域和边缘结构的特征，有助于模型重建图像中的颜色渐变结构并保持轮廓相对锐利，因此本文提出的深度神经网络以Sintel动画图像进行训练。由真实拍摄图片组成的UST-HK、KODAK数据库及部分Sintel作为测试集来验证本发明的效果。
鉴于低比特深度图像和相应高比特深度图像在相同位置的图像结构特征，如何在保留细节纹理的同时去除伪轮廓结构、恢复颜色平滑过渡的结构是图像比特深度增强的关键任务。当神经网络直接重建高比特深度图像时，输出的像素值变化范围非常大，而且重建颜色渐变趋势需要周围伪轮廓的大量结构，直接重建像素阈值大的高比特深度图像往往效果较差。而由低比特深度图像重建高比特深度图像和线性放大图像之间的残差图像，并将残差图像和线性放大图像相加后间接恢复高比特深度图像的也能够实现比特增强的目的，且这个间接的恢复过程更加容易。这里，线性放大操作可以由零填充算法(Zero Padding)实现，因此将线性放大后的高比特深度图像用零填充图像表示。直接重建16比特图像时网络输出的像素值在0到65,535范围，而通过重建残差图间接恢复高比特深度图像时输出的像素值范围在0到4,095，则神经网络重建残差图像的难度更低。
此外，残差图像中的伪轮廓和真实边缘的结构特征相差很大，真实边缘和纹理在量化过程中损失的信息较少，因此在残差图像中往往不清晰，像素值也较低，这和伪轮廓有锐利的边缘结构区别较大。这二者间的结构差异性能够帮助神经网络学习区分伪轮廓和真实边缘，并按照任务的预期对相应结构进行重建。
基于以上分析，发明节提出通过重建高比特深度图像和零填充图像间的残差图像，并将恢复的残差图像和零填充图像按像素相加间接恢复高比特深度图像。这与直接端到端地恢复高比特深度图像都能达到相同的任务，但是比直接回复高比特深度图像更简单，高比特深度图像的重建效果也更好。因此，本发明对数据库图像的预处理部分主要包括两点：1)通过零填充算法将低比特出现转化为零填充高比特图像；2)数据库中的高比特图像与零填充高比特图像按像素做差得到残差图像。其中，零填充高比特图像作为改进的VAE网络的输入图像，残差图像用于与VAE网络生成的残差图像求损失来训练网络模型。
202：在传统的VAE网络中，编码器的潜在分布被随机采样后输入到解码器，从而生成与输入图像完全不同的图像。这与由低比特图像重建高比特图像的任务相悖主要用于生成与输入图像不同的全新图像，图像比特增强算法要求从低比特图像中生成结构信息相似且颜色过渡区域平滑的高比特图像。因此，本发明采用了一种改进的VAE网络为基础网络，编码器生成的特征图直接输入到解码器来恢复高比特图像。这确保了重构后的高比特图像和低比特图像具有相似的结构特征和内容特征。
如图1所示，VAE卷积网络采用了卷积层和转置卷积层结构。卷积层提取输入图像的局部结构特征，保留了主要的图像内容。转置卷积层将局部结构特征作为输入来补偿细节信息。此外，两部分中加入多个跳跃式连接来拼接不同语义特征，这有利于模型生成结构信息完整的残差图。
转置卷积也叫做反卷积，常常用于CNN中对特征图进行上采样，采用转置卷积能够恢复图像的尺寸及结构信息，得到更高质量的残差图。设F是通道数为M的转置卷积层输入的图像或特征图，即f1,f2,......,fM。每一通道fm是N个潜在特征图kn和卷积核gm,n卷积结果的线性和。用公式表示为：
Figure BDA0002253439330000061
其中，*表示二维卷积操作。
传统的VAE网络分别采用步长卷积和反卷积层来下采样和上采样图像。由于步长卷积中的采样会随时输入图像的细节信息，导致重建图像的视觉质量下降。因此，在本发明中的深度网络学习中未使用步长卷积来以保留尽可能多的结构特征。基于同样的原因，网络中也未采用应用广泛的池化层和反池化层。
考虑到计算复杂度，本发明由8个卷积层和8个转置卷积层构成。如图2和图3所示，每一层后面都有BN层(批归一化层，Batch Normalization)[14]和激活函数ReLU层[15](标准修正线性单元，Standard Rectified Linear Unit)。BN层能够大大减少计算代价和运算时间,而ReLU层能缓解梯度消失和过拟合的问题。加入这两层将大大提高生成残差图的视觉质量。与1*1的卷积核相比，本发明采用的3*3卷积核更多的利用特征图的局部结构。而与9*9的卷积核相比，3*3的卷积不仅有利于生成尖锐的边缘而且有利于减少模型运行时间。
此外，网络深度的增加意味着输入信息和梯度信息会在很多层之间传递，这极易出现梯度消失问题，从而导致模型并不能达到满意的效果。针对这一问题，我们在网络中加入了多个跳跃连接，每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层。每一层都可以直接利用损失函数的梯度以及最开始的输入信息。各层特征按照深度方向进行串联，用公式表示为：
Figure BDA0002253439330000062
其中，Xi-1为上一层的输出特征图，Xi为当前层的输出特征图，Xi+1为下一层的输入特征图。
这种连接方式使得特征和梯度的传递更加有效，可以有效减轻梯度消失问题网络也就更加容易训练。另外，由于每层的输出特征图都是之后所有层的输入，卷积层中的浅层特征能直接输入到反卷积层，不需要网络在重新学习多余的特征图，比传统的卷积神经网络有更少的参数，有利于网络更快速的得到残差图。
203：模型通过Adam优化器(Adaptive Moment Estimation Optimizer)梯度下降感知损失函数进行训练，优化公式如下所示
Figure BDA0002253439330000072
其中，gt表示第t时间步的梯度(向量，包含各个参数对应的偏导数，
Figure BDA0002253439330000073
表示第i个参数t时刻偏导数)，
Figure BDA0002253439330000074
表示第t时间步的梯度平方。Adam优化器在计算封信步长时，增加了分母：梯度平方累计和的平方根。此项能够累计各个参数
Figure BDA0002253439330000075
的历史梯度平方，频繁更新的梯度，则累计的分母项逐渐偏大，那么更新的步长相对就会变小，而稀疏的梯度会导致累积的分母项中对应值比较小，那么更新的步长则相对比较大。从而使得训练过程中参数比较平稳，有利于保留残差图的结构信息。
大多数经典的图像到图像的神经网络将MSE(均方误差，Mean Square Error)作为损失函数。均方误差计算了重构图像和目标图像间像素级别的相似度，假设恢复的高比特深度图像为真实的高比特深度图像为IHBD，图像的宽度和高度分别为W和H，则均方误差损失函数可以定义为：
然而，均方误差只简单计算了两图像间的对应像素的相似程度，没有考虑图像的局部和全局结构性相似度，因此由均方误差损失函数训练的模型恢复的高比特深度图像中细节部分较为模糊，且伪轮廓难以被完全消除。因此，为了更好的衡量输出和真实图像间的相似度，指引深度神经网络朝更高结构相似性的方向训练，本发明采用了感知损失(Perception Loss)作为损失函数。感知损失通过预训练的神经网络提取图像的局部特征和高层语义特征，并依据提取特征的相似度计算输入图像的结构性相似度。感知损失函数定义如下：
Figure BDA0002253439330000078
其中，
Figure BDA0002253439330000079
表示预训练网络的第i卷积块第j层卷积层输出的特征图，Wi,j和Hi,j分别表示预训练网络的第i块第j层卷积层输出的特征图的宽度和高度。IRes表示真实的残差图像，
Figure BDA00022534393300000710
表示由卷积神生成的残差图像。
在本发明中,Nc＝5，
Figure BDA00022534393300000711
使用预训练的VGG-19[16]网络的第1个卷积块的第2层、第2个卷积块的第2层、第3个卷积块的第3层、第4个卷积的第4层和第5个卷积块的第4层。
实施例3
下面结合具体的实验数据对实施例1和2中的方案进行效果评估，详见下文描述：
301：数据组成
训练集由Sintel数据库中随机抽取1000张图片构成。
测试集由Sintel除训练集外随机抽取50张图像及UST-HK、KODAK数据库中的所有图像构成。
302：评估准则
本发明主要采用两种评价指标对重建的高比特图像质量进行评估：
PSNR(峰值信噪比，Peak Signal to Noise Ratio)是最广泛使用的评价图像质量的客观准准。它是原图像和对比图像之间均方误差相对于(2n-1)2的对数值(即信号最大值的平方，其中n是比特数)。2个图像之间PSNR值越大，则越相似。
SSIM(结构相似性指数，Structural Similarity Index)[17]是一种衡量两幅图像结构相似性的指标。结构相似性指数从图像组成的角度将结构信息定义为独立于亮度、对比度的反映场景中物体结构的属性。因此，其可从亮度(均值)、对比度(方差)和结构三个层次比较图像失真，其中结构占主要影响因素。SSIM是一个0到1之间的数，越大表示原图像和对比图像的差距越小，即图像质量越好。
303：对比算法
实验中将本发明与八种方法进行比较，其中7种传统方法，1种深度学习方法。
7种传统方法包括：1)ZP(零填充算法，Zero Padding)；2)MIG(理想增益乘积算法,Multiplication by an Ideal Gain)；3)BR(比特复制算法,Bit Replication)[18]；4)MRC(基于最小风险分类算法Minimum Risk based Classification，MRC)[19]；5)CRR(基于洪范算法的轮廓区域重建算法，Contour Region Reconstruction)[20]；6)CA(内容自适应图像比特深度增强算法,Content Adaptive Image Bit-Depth Expansion)[1]；7)ACDC(最大后验估计交流信号算法,Maximum a Posteriori Estimation of AC Signal)[22]。
深度学习方法是BE-CNN(基于端到端卷积神经网络的图像比特深度增强算法,Bit-Depth Enhancement via Convolutional Neural Network),该方法基于简单的卷积神经网络直接重建高比特图像，能够在一定程度上抑制图像伪轮廓生成。但是该方法不能很好的恢复大范围的平滑渐变区域。
表1-表2展示了本方法与其他方法分别在Sintel、UST-HK及KODAK数据库、重建高比特图像质量的评价结果(最好的评价结果用加粗字体表示)。表1中的评价结果是基于Sintel数据库中随机选取的50张图像，表二中的评价结果是基于UST-HK数据库中的所有40张图像，表3中的评价结果是基于KODAK数据库的所有24张图片。有3个表中可以看出，深度学习方法BE-CNN和本发明所提出的方法得到的评价结果要明显高于ZP、MIG、BR、MRC、CRR、CA、ACDC等传统方法的评价结果。相较于BE-CNN，本方法在3个数据库的多种比特增强方式中都取得了更高的评价结果。这从客观方面证明了本方法的有效性。
表1
Figure BDA0002253439330000091
表2
Figure BDA0002253439330000092
Figure BDA0002253439330000101
表3
Figure BDA0002253439330000102
参考文献
[1]WAN P,AU O C,TANG K,et al.From 2D Extrapolation to 1DInterpolation:Content Adaptive Image Bit-Depth Expansion[J].2012,170-5.
[2]TSOGKAS S,KOKKINOS I,PAPANDREOU G,et al.Deep Learning for SemanticPart Segmentation with High-Level Guidance[J].Computer Science,2015,530-8.
[3]RADMAN A,ZAINAL N,SUANDI S A.Automated segmentation of iris imagesacquired in an unconstrained environment using HOG-SVM and GrowCut[J].DigitalSignal Processing,2017,64(60-70.
[4]TSENG C W,SU H R,LAI S H,et al.Depth image super-resolution viamulti-frame registration and deep learning；proceedings of the SignalandInformation Processing Association Summit and Conference,F,2017[C].
[5]MA C,HUANG J B,YANG X,et al.Hierarchical Convolutional Featuresfor Visual Tracking；proceedings of the IEEE International Conference onComputer Vision,F,2015[C].
[6]WANG N,LI S,GUPTA A,et al.Transferring Rich Feature Hierarchiesfor Robust Visual Tracking [J].Computer Science,2015,
[7]JOHNSON J,ALAHI A,LI F F.Perceptual Losses for Real-Time StyleTransfer and Super-Resolution[J].2016,694-711.
[8]LINGMA D P,WELLING M,et al.Auto-encoding variational bayes；International Conference on Learning Representations,F,2014[C].
[9]FOUNDATION X.Xiph.Org,https://www.xiph.org/,2016.
[10]WAN P,CHEUNG G,FLORENCIO D,ZHANG C,AU O C.Image BitdepthEnhancement via Maximum a Posteriori Estimation of AC Signal[J].2016,2896-2909.
[11]KODAK.Kodak Lossless True Color Image Suite,http://r0k.us/graphics/kodak/
[12]ZEILER M D,KRISHNAN D,TAYLOR G W,et al.Deconvolutional networks；proceedings of the Computer Vision and Pattern Recognition,F,2010[C].
[13]KINGMA D P,BAJ.ADAM:A Method for Stochastic Optimization,arXivpreprint arXiv:1412.6980,2014.
[14]IOFFE S,SZEGEDY C.Batch normalization:accelerating deep networktraining by reducing internal covariate shift[J].2015,448-56.
[15]NAIR V,HINTON G E.Rectified linear units improve restrictedboltzmann machines；proceedings of the International Conference onInternational Conference on Machine Learning,F,2010[C].
[16]SIMONYAN K,ZISSERMAN A.Very Deep Convolutional Networks forLarge-Scale Image Recognition[J].Computer Science,2014.
[17]WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality assessment:fromerror visibility to structural similarity[J].IEEE Transactions on ImageProcessing,2004,13(4):600-12.
[18]ULICHNEY R A,CHEUNG S.Bit-depth increase by bit replication[M].CiteSeer.2000:232--41.
[19]MITTAL G,JAKHETIYA V,JAISWAL S P,et al.Bit-depth expansion usingMinimum Risk Based Classification；proceedings of the Visual Communicationsand Image Processing,F,2013[C].
[20]CHENG C H,AU O C,LIU C H,et al.Bit-depth expansion by contourregion reconstruction；proceedings of the IEEE International Symposium onCircuits and Systems,F,2009[C].
[21]WAN P,CHEUNG G,FLORENCIO D,et al.Image bit-depth enhancement viamaximum-a-posteriori estimation of graph AC component；proceedings of the IEEEInternational Conference on Image Processing,F,2015[C].
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于串联神经网络多层特征的图像比特增强方法，其特征在于，所述比特增强方法包括：
构建训练集，将训练集的高比特图像量化为低比特图像，高比特图像与低比特图像之间按像素求差得到残差图像，低比特图像通过零填充得到零填充高比特图像；
去除VAE网络中的随机变量，将编码器生成的特征图直接输入解码器，以此为基础建立深度学习网络模型；
在网络模型中加入了多个串联跳跃连接，将每一层特征图传递给之后的所有层；
零填充高比特图像输入深度学习网络模型生成残差图像，使用Adam优化器梯度下降感知损失函数训练网络；
将测试集的高比特图像量化为低比特图像，将零填充高比特图像输入到加载训练模型参数后的网络中生成残差图像，残差图像与低比特图像按像素相加得到重建的高比特图像。
2.根据权利要求1所述的一种基于串联神经网络多层特征的图像比特增强方法，其特征在于，所述构建训练集，还包括：
训练集由Sintel数据库中随机挑选的1000张图片构成。
3.根据权利要求1所述的一种基于串联神经网络多层特征的图像比特增强方法，其特征在于，所述深度学习网络模型具体为：
卷积神经网络以VAE网络为主干网络，由8个卷积层和8个转置卷积层构成，每一层后面都有批归一化层和激活函数ReLU层。
4.根据权利要求1所述的一种基于串联神经网络多层特征的图像比特增强方法，其特征在于，所述串联跳跃连接具体为：
各层特征按照深度方向进行串联，即
Figure FDA0002253439320000011
其中，Xi-1为上一层的输出特征图，Xi为当前层的输出特征图，Xi+1为下一层的输入特征图。
5.根据权利要求1所述的一种基于串联神经网络多种特征的图像比特增强方法，其特征在于，所述损失函数具体如下：
Figure FDA0002253439320000012
Figure FDA0002253439320000021
表示第i卷积块第j层卷积层输出的特征图，Wi，j和Hi，j分别表示预训练网络的第i块第j层卷积层输出的特征图的宽度和高度；IRes表示真实的残差图像，表示由卷积神经网络重建残差图像；Nc＝5，
Figure FDA0002253439320000023
使用预训练的VGG-19网络的第1个卷积块的第2层、第2个卷积块的第2层、第3个卷积块的第3层、第4个卷积的第4层和第5个卷积块的第4层。
6.根据权利要求1所述的一种基于串联神经网络多种特征的图像比特增强方法，其特征在于，所述测试集具体如下：
测试集由Sintel除训练集外随机抽取50张图像及UST-HK、KODAK数据库中的所有图像构成。
CN201911043280.3A 2019-10-30 2019-10-30 一种基于串联神经网络多层特征的图像比特增强方法 Active CN110796622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911043280.3A CN110796622B (zh) 2019-10-30 2019-10-30 一种基于串联神经网络多层特征的图像比特增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911043280.3A CN110796622B (zh) 2019-10-30 2019-10-30 一种基于串联神经网络多层特征的图像比特增强方法

Publications (2)

Publication Number Publication Date
CN110796622A true CN110796622A (zh) 2020-02-14
CN110796622B CN110796622B (zh) 2023-04-18

Family

ID=69441995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911043280.3A Active CN110796622B (zh) 2019-10-30 2019-10-30 一种基于串联神经网络多层特征的图像比特增强方法

Country Status (1)

Country Link
CN (1) CN110796622B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681293A (zh) * 2020-06-09 2020-09-18 西南交通大学 一种基于卷积神经网络的sar图像压缩方法
CN111681192A (zh) * 2020-06-09 2020-09-18 天津大学 一种基于残差图像条件生成对抗网络的比特深度增强方法
CN113066022A (zh) * 2021-03-17 2021-07-02 天津大学 一种基于高效时空信息融合的视频比特增强方法
CN114022442A (zh) * 2021-11-03 2022-02-08 武汉智目智能技术合伙企业(有限合伙) 一种基于无监督学习的织物疵点检测算法
CN114663315A (zh) * 2022-03-30 2022-06-24 天津大学 基于语义融合生成对抗网络的图像比特增强方法及装置
CN114708180A (zh) * 2022-04-15 2022-07-05 电子科技大学 具有动态范围保持的预失真图像比特深度量化和增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886768A (zh) * 2017-03-02 2017-06-23 杭州当虹科技有限公司 一种基于深度学习的视频指纹算法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN106886768A (zh) * 2017-03-02 2017-06-23 杭州当虹科技有限公司 一种基于深度学习的视频指纹算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUTING SU，WANNING SUN，JING LIU，GUANGTAO ZHAI，PEIGUANG JING: ""Photo-realistic image bit-depth enhancement via esidual transposed convolutional neural network"" *
刘毅松,孙雨耕,胡华东,于洁潇: "超限车辆的最短路径在MAPGIS中的实现" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681293A (zh) * 2020-06-09 2020-09-18 西南交通大学 一种基于卷积神经网络的sar图像压缩方法
CN111681192A (zh) * 2020-06-09 2020-09-18 天津大学 一种基于残差图像条件生成对抗网络的比特深度增强方法
CN111681192B (zh) * 2020-06-09 2022-08-02 天津大学 一种基于残差图像条件生成对抗网络的比特深度增强方法
CN113066022A (zh) * 2021-03-17 2021-07-02 天津大学 一种基于高效时空信息融合的视频比特增强方法
CN113066022B (zh) * 2021-03-17 2022-08-16 天津大学 一种基于高效时空信息融合的视频比特增强方法
CN114022442A (zh) * 2021-11-03 2022-02-08 武汉智目智能技术合伙企业(有限合伙) 一种基于无监督学习的织物疵点检测算法
CN114663315A (zh) * 2022-03-30 2022-06-24 天津大学 基于语义融合生成对抗网络的图像比特增强方法及装置
CN114708180A (zh) * 2022-04-15 2022-07-05 电子科技大学 具有动态范围保持的预失真图像比特深度量化和增强方法
CN114708180B (zh) * 2022-04-15 2023-05-30 电子科技大学 具有动态范围保持的预失真图像比特深度量化和增强方法

Also Published As

Publication number Publication date
CN110796622B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN111667424B (zh) 一种基于无监督的真实图像去噪方法
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN111008938B (zh) 一种基于内容和连续性引导的实时多帧比特增强方法
CN112270654A (zh) 基于多通道gan的图像去噪方法
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
Aakerberg et al. Semantic segmentation guided real-world super-resolution
CN115170410A (zh) 融合小波变换和注意力机制的图像增强方法及装置
Chen et al. Image denoising via deep network based on edge enhancement
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN110503608B (zh) 基于多视角的卷积神经网络的图像去噪方法
Yang et al. A survey of super-resolution based on deep learning
CN116152061A (zh) 一种基于模糊核估计的超分辨率重建方法
Lin et al. A Deep Neural Network Based on Prior Driven and Structural-Preserving for SAR Image Despeckling
Perera et al. Sar despeckling using overcomplete convolutional networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant