CN111681192B - 一种基于残差图像条件生成对抗网络的比特深度增强方法 - Google Patents
一种基于残差图像条件生成对抗网络的比特深度增强方法 Download PDFInfo
- Publication number
- CN111681192B CN111681192B CN202010518040.0A CN202010518040A CN111681192B CN 111681192 B CN111681192 B CN 111681192B CN 202010518040 A CN202010518040 A CN 202010518040A CN 111681192 B CN111681192 B CN 111681192B
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- bit depth
- loss
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 26
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims abstract description 3
- 238000009826 distribution Methods 0.000 claims description 15
- 230000008034 disappearance Effects 0.000 claims description 5
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000008485 antagonism Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 102100031786 Adiponectin Human genes 0.000 description 3
- 101000775469 Homo sapiens Adiponectin Proteins 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 101100285899 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SSE2 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于残差图像条件生成对抗网络的比特深度增强方法，包括：将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；将内容一致损失和对抗损失之和作为总的损失函数；通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。
Description
技术领域
本发明涉及比特深度增强领域，尤其涉及一种基于残差图像条件生成对抗网络的比特深度增强方法。
背景技术
随着科学技术的发展，电子产品迅速发展，人们对显示器的需求不断增长，以提供高质量的可视化，这就需要更多位数表示每个像素。然而，由于大多数现有图像和视频具有低比特深度(LBD)，为了适应这种差距，最经济的解决方案是低比特深度到高比特深度的增强显示，也就是将LBD图像转换为视觉上令人愉悦的高比特深度(HBD)图像，这实质上是去量化的过程。
10位(即1,024色)和16位(即65,536色)监视器已被广泛用于各个专业领域。例如，在医学图像可视化方面，HBD和高分辨率监控器至关重要，因为需要清晰，明确地呈现复杂的细节，所以HBD数据和高分辨率监控器至关重要。传统方法(例如零填充或位复制)会引入伪轮廓伪影。有的方法使用过滤或插值方法，但是仅利用有限的相邻像素的信息，不能彻底消除伪轮廓。需要注意的是，逆色调映射方法[1][2]无法解决比特深度增强任务。这是因为逆色调映射的目的是使局部最小最大区域中的细节产生幻觉，而局部最小最大区域会由于相机传感器的过度或者不足而失真，而比特深度增强的目的是消除由线性量化导致的颜色不一致。
已经有许多比特增强算法，比如逐像素解量化算法，包括零填充(ZP)，理想增益乘法(MIG)，位复制(BR)[3]和基于最小风险的分类(MRC)[4]，可按像素重建HBD图像独立计算。尽管这些算法效率很高，但是由于忽略了像素周围的结构特征，因此重建的HBD图像会出现轮廓伪影。为消除这些错误轮廓伪影，又提出了许多上下文感知算法，比如插值算法(包括内容自适应图像比特深度扩展(CA)[5]和轮廓区域重建(CRR)[6])。这些算法可以极大地消除错误的轮廓，但是局部最小或最大区域中的细节仍然会模糊不清。AC信号的最大后验估计[ACDC][7][8]从图形正弦处理的角度重构HBD图像，该过程通过最大后验估计来预测最可能的AC信号。ACDC非常耗时，并且在大坡度区域中的假轮廓仍然很明显。另外，从强度势场的角度提出了自适应反量化强度(IPAD)[9]，它利用了强度势场和HBD图像统计之间的内在联系，设计了一个非线性映射以估计HBD强度。尽管IPAD的性能优于其他无监督算法，但虚假轮廓并未完全消除。此外还有很多基于深度学习的监督算法，例如通过卷积神经网络(BE-CNN)进行比特深度增强[10]和通过合并深度神经网络的所有层级特征(BE-CALF)进行比特深度增强[11]。有效的CNN(卷积神经网络)框架经过精心设计，可以更好地重建HBD图像，并且通过保留精美细节极大地抑制了虚假轮廓。然而，这些算法是通过基于预训练的固定神经网络计算出的梯度下降感知损失[12]来训练的。如果可以对网络进行自适应训练，则深度学习算法的性能会更好。
最近，GAN[13]及其变体[14][15]已被许多计算机视觉任务广泛采用，因为它们在生成照片级逼真的图像方面具有优越的性能。还提出了许多训练程序[16]-[18]，因为在对抗性训练生成器和鉴别器中找到纳什均衡是一项挑战。GAN(生成对抗网络)在各种图像增强任务方面通常胜过简单的深度生成网络，用于比特深度增强任务同样优秀。
比特深度增强目前面临的主要挑战为：
1)各领域对高质量的可视化要求越来越高，然而多数数字图像采集设备和主流图像都是低比特深度的；
2)一般的比特深度增强算法恢复的高比特深度图像往往效果不佳，假轮廓明显，纹理模糊。
发明内容
本发明提供了一种基于残差图像条件生成对抗网络的比特深度增强方法，本发明基于条件生成对抗网络的学习框架，能够重建高质量的高比特深度图像，详见下文描述：
一种基于残差图像条件生成对抗网络的比特深度增强方法，所述方法包括：
将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；
构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；
将内容一致损失和对抗损失之和作为总的损失函数；
通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；
将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。
其中，所述生成器是对称的卷积层和反卷积层结构，零填充图像作为生成器的输入，卷积层用于提取低比特深度图像的结构特征，反卷积层则基于提取的高级特征重建残差图像；
所述生成器每两层之间的特征图进行级联以传递到下一层，不仅解决了反向传播中的梯度消失问题，并将底层内容直接传递到顶层。
进一步地，将重建高比特深度图像与原始高比特深度图像之间的L2损失作为内容一致损失。
所述内容一致损失为：
其中，Fi代表VGG-19网络的第i层特征图，fi代表特征的大小，μ为比例系数，N提供全局和局部视野，IHBD代表真实高比特深度图，
代表重建的高比特深度图像，Lcont代表感知损失，x～U(0,fi)代表x服从均匀分布。
所述总的损失函数为：
其中，pm定义为沿着从pres到pZP的相应点之间的直线的均匀样本，λ代表比例系数，
是梯度公式，Ladv即对抗性损失，pres表示原始残差图像的分布，pzp是零填充图像分布，而G(x)～pimit是由生成器的重建残差图像
D(G(x))代表零填充图像经过生成器生成的图像，再输入鉴别器之后的结果。
本发明提供的技术方案的有益效果是：
1、本发明设计了一个鉴别器来更好地评价重建性能，该鉴别器学习识别重构图像和真实图像，并对生成网络的训练进行指导；
2、本发明设计了一个内容一致损失函数，解决生成对抗网络难以找到纳什均衡，生成器和鉴别器高度不稳定的问题，以帮助对抗训练，并使生成器重建更真实的高比特深度图像；
3、本发明设计了一个条件鉴别器网络，没有直接对高比特深度图像进行区分，而是训练鉴别器识别重构后的残差图像，使其具有较好的结构特征；另外，本发明以低比特深度图像的零填充图像为条件输入到鉴别器中，其量化信息有助于鉴别输入的残差图像是重建的还是真实的。
附图说明
图1为一种基于残差图像条件生成对抗网络的比特深度增强方法的流程图；
图2为一种基于残差图像条件生成对抗网络的比特深度增强方法的生成器网络结构图；
图3为一种基于残差图像条件生成对抗网络的比特深度增强方法的鉴别器网络结构图；
图4为一种基于残差图像条件生成对抗网络的比特深度增强方法的实验主观结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
由于在各个领域对可视化的质量提出了越来越高的要求，高比特深度的监视器近年来开始流行起来。然而，大多数的数字图像采集设备和主流图像都是低比特深度的。当这些低比特深度图像被直接显示在高比特深度的监视器上时，通常具有较低的视觉质量和假轮廓。为了重建视觉上令人愉悦的高比特深度图像，人们从各个方面提出了许多比特深度增强算法，但恢复后的高比特深度图像往往效果不佳，比特深度增强任务中最具挑战性的就是在平滑假轮廓的同时保持边缘的锐度，而大多数现有算法几乎无法消除假轮廓，并且某些纹理过于模糊。
在本发明提出的网络中，包括一个生成器和一个鉴别器，鉴别器帮助评估图像质量，并指导训练生成器，以实现更逼真的恢复性能。此外，由于重构的高比特深度图像与真实的高比特深度图像可能具有相似的结构特征，使其难以分辨，因此鉴别器以残差图像为输入，并进一步以低比特深度图像的零填充图像为条件，实现更可靠的鉴别器性能。此外，本发明还提出了一种新的损失函数来解决对抗训练不稳定的问题。
实施例1
本发明实施例提出了一种基于残差图像条件生成对抗网络的比特深度增强方法，以生成对抗网络为主要框架，引入残差图像，条件鉴别器，内容一致损失等概念，通过学习高比特深度图像和低比特深度图像之间的残差图像来重建高质量的高比特深度图像。
本发明实例提出的方法就是基于残差图像条件生成对抗网络的比特深度增强，生成高质量的高比特深度图像，具体实施步骤如下：
101：对用于训练的高比特深度图像与低比特深度图像进行预处理，具体操作为：
本发明所使用的Sintel数据库来源于一个无损画质的动画短片，高比特深度图像与低比特深度图像都经过切块处理后用于训练生成对抗网络。
102：将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像，具体操作为：
如图2所示，生成器网络(Generator Network)是对称的卷积层和反卷积层结构。低比特深度图像ILBD的零填充图像IZP作为生成器的输入，卷积层负责提取低比特深度图像ILBD的结构特征，反卷积层则基于提取的高级特征重建残差图像。
103：引入一个条件鉴别器，具体操作为：
如图3所示，鉴别器网络(Discriminatory Network)采用跨步卷积层对特征图进行下采样，最后将提取的高级特征完全连接到一个维度，用于区分生成器生成的重建残差图像
和原始残差图像Iresidual。其中原始残差图像指的是高比特深度图像IHBD与零填充图像IZP之差为Iresidual。将原始残差图像Iresidual和重建残差图像
共同作为鉴别器的输入，以零填充图像IZP为条件，帮助鉴别器将重建残差图像
与真实残差图像区分开，而对抗训练则推动生成器恢复具有更高质量的高比特深度图像。
104：将内容一致损失和对抗损失之和作为总的损失函数，操作具体为：
生成器网络负责生成高质量的残差图像，鉴别器网络负责判断生成残差图像的真假，并反过来指导生成器网络的训练，根据生成器和鉴别器的这种博弈过程定义对抗损失[13]，具体如下文公式(1)所示。重建高比特深度图像
与原始高比特深度图像IHBD之间的L2损失定义为内容一致损失，具体如下文公式(7)所示。内容一致损失函数可以帮助对抗训练使生成器重建更真实的高比特深度图像，解决训练不稳定的问题。
105：通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数。
106：将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。
综上所述，本发明实施例通过上述步骤101-步骤106，设计了一种更高效的生成对抗网络，结合条件鉴别器、残差图像、内容一致损失等改进，恢复更高视觉质量的高比特深度图像。
实施例2
下面结合网络结构、图1、图2对实施例1中的方案进行进一步地介绍，详见下文描述：
201：Sintel数据库来源于一个无损画质的动画短片，图片经过预处理后用于训练提出的生成对抗网络；
其中，Sintel数据库包含21,312帧的8比特和16比特成对图片，每张图片的大小都是436*1024，图像的内容涵盖多种场景，包括雪山、天空、城镇、洞穴等。为了有效减少训练过程中的内存占用，在对数据库中的图像进行随机抽样后，把1000张图片切割成96*96的小图，并以numpy数组的形式进行存储。
202：如图2所示的生成器网络中，将每两层之间的特征图进行级联以传递到下一层，不仅解决了反向传播中的梯度消失问题，并将底层内容直接传递到顶层。
许多研究表明，卷积神经网络层数逐渐升高时，往往会产生梯度消失或梯度爆炸的问题。当低层卷积层在训练时更新参数后，高层卷积层输入数据分布会随之变化，这使得模型训练过程中没有稳定的梯度，导致参数训练缓慢。如果在深度学习网络中增加跳跃连接(Skip Connections)，能够在很大程度上解决这一问题，使得卷积神经网络在能够采用更多的卷积层数的前提下，保持更高的学习率。因此，在本发明中，生成器网络引入了跳跃连接，每个连接都跨越了两个卷积层，将两层产生的特征图相加，再输入到下一层中。并且在这些残差块的开始和结尾之间也添加了跳跃连接，提高了网络生成的高比特图像的质量。
图2中的CONV Layers代表卷积层，BN层(批量归一化层，Batch Normalization)和ReLU层(标准修正线性单元，Standard Rectified Linear Unit)。在卷积层之后采用了激活函数ReLU层，以缓解梯度消失和过拟合的问题。BN层能够加速网络收敛，减少计算代价和运算时间，提升训练稳定性。
203：选择学习生成残差图像，是因为零填充图像中的虚假轮廓伪像在残差图像中仍显示为边缘，而在高比特深度图像中则显示为平滑的梯度结构。将零填充图像中的虚假轮廓转换为残差图像中具有相同形状和不同强度的边缘，比直接将零填充图像转换为高比特深度图像中的平滑结构更容易。
除此之外，由于残差图像值有限，因此与处理高动态范围的高比特深度图像相比，恢复和区分残差图像更容易。因此，对鉴别器进行了优化，以区分重建的残差图像和真实的残差图像。
最后重建的残差图像和零填充图像的总和就是最终的高比特深度图像。
204：本发明引入一个条件鉴别器，鉴别器的作用就是区分真实图像与重建图像，推动生成器还原视觉上令人满意的高比特深度图像，由于发现零填充图像包含量化步长信息，这是区分假轮廓伪影和真实边缘的明显标准。因此，将低比特深度图像对应的零填充图像作为条件输入鉴别器，这有助于网络将平滑梯度区域与边缘区域区分开，并进一步帮助鉴别器将重构图像与真实图像区分开。
205：对于本发明所提出生成对抗网络，对抗损失指导训练生成器和鉴别器，具体如下：
其中，x代表真实数据，z代表随机噪声，G(z)是由生成器用随机噪声重构的伪数据，pdata(x)和pZ(z)分别代表真实数据和输入噪声的潜在分布，D代表鉴别器，G代表生成器，D(x)代表鉴别器的输出，D(G(z))代表生成器生成的图片输入鉴别器的结果，V(D,G)表示一个关于D,G的二元函数，E是求均值符号。
由于生成器和鉴别器是交替训练的，因此在训练鉴别器时损失函数如下：
其中，pres表示原始残差图像Iresidual的分布，pzp是零填充图像IZP分布，而G(x)～pimit是由生成器的重建残差图像
D(G(x))代表零填充图像经过生成器生成的图像，再输入鉴别器之后的结果。
理论上的最佳鉴别器可通过以下导数来计算：
其中，pimit代表重建残差图像的分布。
令导数等于0，则理论最佳鉴别器D*为：
因此，在理论上最佳地优化鉴别器时，公式(1)可以表示如下：
其中，JS代表Jenson-Shannon散度，‖是求散度的运算符号。
由于原始残差图像和零填充图像具有明显的结构差异，并且零填充图像值比残差图像大2LB(LB即低比特位数)左右，因此几乎可以肯定，原始残差图像Iresidual的分布pres与零填充图像IZP的分布pZP之间的交点可忽略不计[19]。因此，当鉴别器被很好地训练不断优化，而生成器的性能不令人满意时，这些分布之间的JS散度接近于零，并且损失函数(公式(5))几乎恒定，从而导致梯度消失的问题。由于在对抗训练两个网络时很难找到纳什均衡，因此在没有崩溃模式或梯度消失问题的情况下，平衡生成器和鉴别器的训练过程是一个微妙的过程。
因此，当它们的交点可忽略时，采用地动距离(EM)[15]可以更好地评估这些概率分布的距离并提供更多的梯度。生成器网络也经过预训练，以确保两个分布具有不可忽略的交点。另外，本发明引入梯度惩罚[17]，以确保鉴别器参数位于紧致空间中，这有助于解决梯度消失和爆炸问题。梯度惩罚约束了鉴别器对于相应输入的输出的L-2范数。最后，本发明使用的对抗性损失公式如下：
其中，pm定义为沿着从pres到pZP的相应点之间的直线的均匀样本，λ代表比例系数，
是梯度公式，Ladv即对抗性损失。
现有的损失函数可以导致生成相同潜在分布的逼真的高比特深度图像，但是恢复的图像通常与低比特深度图像不同。因此，生成器不仅需要对抗性损失，还需要内容一致损失，以重建与相应的低比特深度图像更为相似的高比特深度图像。与广泛使用的MSE损失相比，将感知损失[12]用作内容一致损失，这样考虑了各种范围内的邻域结构特征，因此重建的图像更具真实感。感知损失定义为预训练网络的高级特征差异，可以表述为：
其中，Fi代表VGG-19[20]网络的第i层特征图，fi代表特征的大小，μ为比例系数。N＝{2,4,8,12,16}提供全局和局部视野，IHBD代表真实高比特深度图，
代表重建的高比特深度图像，
Lcont代表感知损失，x～U(0,fi)代表x服从均匀分布。
总的损失函数即为对抗损失和感知损失之和，可以表述为：
206：通过优化器梯度下降损失函数来训练模型中各个卷积层和批量归一化层的参数，在模型损失函数的下降幅度不超过阈值之后，保存相应模型及模型中所有层的参数；
其中，Adam优化器本质上带有动量项，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有确定范围，使得参数比较平稳。在训练过程中，通过TensorBoard监控感知损失函数的收敛情况，并在迭代过程中自动保存模型中各层的参数。
207：将测试集中的低比特深度图像输入保存的生成器网络，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。
综上所述，本发明实施例通过上述步骤进行图像的比特深度增强，使模型的性能得到提高。
实施例3
下面结合具体的实例，对实施例1和2中的方案进行可行性验证，详见下文描述：
实验在三个数据集上进行。Sintel[21]是一个无损的16位图像数据集，由20,000多个卡通图像组成。UST-HK[7]由40个自然的16位图像组成，而KODAK[22]由24个自然的8位图像组成。本发明在从Sintel随机选择的1,000个16位图像上进行了训练，并在从Sintel数据集的其余部分随机选择的另外50个16位图像，来自UST-HK的所有40个16位图像以及KODAK所有24个8位图像进行了测试。
实验是在GPU(GeForce GTX 1060 6GB/PCIe/SSE2)和CPU(
CPU E5-2690v2@3.00GHz×20)上进行的。该算法的批处理大小为5，这在健壮性能和内存消耗之间取得了很好的折衷。此外，将超参数λ和μ分别调整为10和20。
本方法采用两种评价指标来对生成的高比特图像进行评估：
峰值信噪比(Peak Signal to Noise Ratio，PSNR)：PSNR是最普遍和最广泛使用的一种评价图像之间相似度的客观评价指标。PSNR是基于图像间对应像素点间的差值，即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性，因而经常出现客观评价结果与人眼的主观感受不一致的情况。
结构相似性指数(Structural Similarity Index，SSIM)：SSIM是一种衡量两幅图像之间结构相似度的指标。结构相似性理论认为，图像中的像素是高度结构化的，即空域中接近的像素间有很强的相关性，这种相关性包含视觉场景中物体结构的重要信息。SSIM从图像组成的角度反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。SSIM的取值范围为[0,1]，SSIM值越大两幅图具有更高的结构相似。
实验中将本方法与其他10种主流算法进行了对比，分别为ZP,MIG,BR[3],MRC[4]CRR[6],CA[5],ACDC[7],and IPAD[9],and supervised algorithms BE-CNN[10]and BE-CALF[11]。性能通过峰值信噪比(PSNR)和结构相似性指数(SSIM)进行评估。
本实例提出的方案在PSNR和SSIM两个客观评价指标上表现均超出前面提到的国内外相关算法。表1列出了平均的评估结果，图2为主观结果。可以看出，由于未参考邻域信息，因此像素独立算法ZP，MIG和BR[3]表现最差。基于插值的算法和基于统计属性的方法的性能相对较好。此外，监督算法BE-CNN[10]，BE-CALF[11]和本发明的算法明显优于无监督算法，并且本发明的算法在这三个数据集上均表现最佳。这主要是因为鉴别器在评估高比特深度图像质量方面比简单计算更好。
表1不同数据集上不同算法的平均PSNR和SSIM值
参考文献
[1]Y.Endo,Y.Kanamori,and J.Mitani,“Deep reverse tone mapping,”ACMTransactions on Graphics,vol.36,no.6,pp.1–10,2017.
[2]G.Eilertsen,J.Kronander,G.Denes,R.K.Mantiuk,and J.Unger,“HDR imagereconstruction from a single exposure using deep CNNs,”ACM Transactions onGraphics,vol.36,no.6,pp.1–15,2017.
[3]R.A.Ulichney and S.Cheung,“Pixel bit-depth increase by bitreplication,”in Proceedings of Color Imaging:Device-Independent Color,ColorHardcopy,and Graphic Arts III,SPIE,1998,pp.232–241.
[4]G.Mittal,V.Jakhetiya,S.P.Jaiswal,O.C.Au,A.K.Tiwari,and D.Wei,“Bit-depth expansion using minimum risk based classification,”in ProceedingsofIEEE Conference on Visual Communications and Image Processing,2012,pp.1–5.
[5]P.Wan,O.C.Au,K.Tang,Y.Guo,and L.Fang,“From 2D extrapolation to 1Dinterpolation:Content adaptive image bit-depth expansion,”in Proceedings ofIEEE International Conference on Multimedia and Expo,2012,pp.170–175.
[6]P.Wan,G.Cheung,D.Florencio,C.Zhang,and O.C.Au,“Image bit-depthenhancement via maximum a posteriori estimation of AC signal,”IEEETransactions on Image Processing,vol.25,no.6,pp.2896–2909,2016.
[7]C.Cheng,O.C.Au,C.Liu,and K.Yip,“Bit-depth expansion by contourregion reconstruction,”in Proceedings of International Symposium on Circuitsand Systems,2009,pp.944–947.
[8]P.Wan,G.Cheung,“Image bit-depth enhancement via maximum-a-posteriori estimation of graph AC component,”in Proceedings of IEEEInternational Conference on Image Processing,2014,pp.4052–4056.
[9]J.Liu,G.Zhai,X.Yang,and C.Chen,“IPAD:Intensity potential foradaptive de-quantization,”IEEE Transactions on Image Processing,vol.PP,no.1,pp.1–14,2018.
[10]J.Liu,W.Sun,and Y.Liu,“Bit-depth enhancement via convolutionalneural network,”in Proceedings of International Forum on Digital TV andWireless Multimedia Communications,2017,pp.255–264.
[11]J.Liu,W.Sun,Y.Su,P.Jing and X.Yang,“BE-CALF:Bit-Depth Enhancementby Concatenating All Level Features of DNN,”IEEE Transactions on ImageProcessing,vol.PP,no.18,pp.4926–4940,2019.
[12]J.Johnson,A.Alahi,and F.Li,“Perceptual losses for real-time styletransfer and super-resolution,”in Proceedings of European Conference onComputer Vision,2016,pp.694–711.
[13]I.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,and Y.Bengio,“Generative adversarial nets,”in Advances in NeuralInformation Processing Systems,2014,pp.2672–2680.
[14]A.Radford,L.Metz,and S.Chintala,“Unsupervised representationlearning with deep convolutional generative adversarial networks,”inProceedings ofInternational Conference on Learning Representations,2016,pp.1–16.
[15]M.Mirza and S.Osindero,“Conditional generative adversarial nets,”arXiv preprint arXiv:1411.1784,2014.
[16]M.Arjovsky,S.Chintala,and L.Bottou,“Wasserstein GAN,”arXivpreprint arXiv:1701.07875,2017.
[17]I.Gulrajani,F.Ahmed,M.Arjovsky,V.Dumoulin,and A.C.Courville,“Improved training of wasserstein GANs,”in Advances in Neural InformationProcessing Systems,2017,pp.5767–5777.
[18]J.Liu,W.Sun,and M.Li,“Recurrent conditional generativeadversarial network for image deblurring,”Accepted by IEEE Access,pp.1–1,2018.
[19]M.Arjovsky and L.Bottou,“Towards principled methods for traininggenerative adversarial networks,”in Proceedings of International Conferenceon Learning Representations,2017,pp.1–17.
[20]K.Simonyan and A.Zisserman,“Very deep convolutional networks forlarge-scale image recognition,”arXiv preprint arXiv:1409.1556,2014.
[21]X.Foundation,“Xiph.Org,”https://www.xiph.org/,2016,[Online；accessed 16-May-2017].
[22]R.Franzen,“Kodak Lossless True Color Image Suite.”http://r0k.us/graphics/kodak/
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，所述方法包括：
将低比特深度图像的零填充图像作为生成器的输入，学习生成残差图像；
构建鉴别器网络，采用跨步卷积层对特征图进行下采样，将提取的高级特征连接到一个维度，用于区分生成器生成的重建残差图和原始残差图像；
将内容一致损失和对抗损失之和作为总的损失函数；
通过优化器的梯度下降损失函数来训练生成器中各个卷积层和批量归一化层的参数，在总的损失函数的下降幅度不超过阈值之后，保存生成器及鉴别器中所有层的参数；
将测试集中的低比特深度图像输入保存的生成器网络中，输出残差图像，再与输入低比特深度图像的零填充图像相加，最终重建高比特深度图像。
2.根据权利要求1所述的一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，
所述生成器是对称的卷积层和反卷积层结构，零填充图像作为生成器的输入，卷积层用于提取低比特深度图像的结构特征，反卷积层则基于提取的高级特征重建残差图像；
所述生成器每两层之间的特征图进行级联以传递到下一层，不仅解决了反向传播中的梯度消失问题，并将底层内容直接传递到顶层。
3.根据权利要求1所述的一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，将重建高比特深度图像与原始高比特深度图像之间的L2损失作为内容一致损失。
4.根据权利要求1所述的一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，所述内容一致损失为：
其中，Fi代表VGG-19网络的第i层特征图，fi代表特征的大小，μ为比例系数，N提供全局和局部视野，IHBD代表真实高比特深度图，
代表重建的高比特深度图像，
Lcont代表感知损失，将感知损失用作内容一致损失，x～U(0,fi)代表x服从均匀分布，G代表生成器。
5.根据权利要求4所述的一种基于残差图像条件生成对抗网络的比特深度增强方法，其特征在于，所述总的损失函数为：
其中，pn定义为沿着从pres到pZP的相应点之间的直线的均匀样本，λ代表比例系数，
是梯度公式，pres表示原始残差图像的分布，pzp是零填充图像分布，D(G(x))代表零填充图像经过生成器生成的图像，再输入鉴别器之后的结果，D(x)代表鉴别器的输出，E是求均值符号，D代表鉴别器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010518040.0A CN111681192B (zh) | 2020-06-09 | 2020-06-09 | 一种基于残差图像条件生成对抗网络的比特深度增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010518040.0A CN111681192B (zh) | 2020-06-09 | 2020-06-09 | 一种基于残差图像条件生成对抗网络的比特深度增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111681192A CN111681192A (zh) | 2020-09-18 |
| CN111681192B true CN111681192B (zh) | 2022-08-02 |
Family
ID=72454175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010518040.0A Active CN111681192B (zh) | 2020-06-09 | 2020-06-09 | 一种基于残差图像条件生成对抗网络的比特深度增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111681192B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529806A (zh) * | 2020-12-15 | 2021-03-19 | 哈尔滨工程大学 | 基于生成对抗网络信息最大化的sar图像数据增强方法 |
| CN114663315B (zh) * | 2022-03-30 | 2022-11-22 | 天津大学 | 基于语义融合生成对抗网络的图像比特增强方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105103548A (zh) * | 2013-04-08 | 2015-11-25 | 索尼公司 | 根据输入数据的位深选择变换数据的最大动态范围和变换矩阵的数据精度 |
| CN106162199A (zh) * | 2015-09-28 | 2016-11-23 | 苏州踪视通信息技术有限公司 | 带反向信道消息管理的视频处理的方法和系统 |
| CN110365513A (zh) * | 2018-04-10 | 2019-10-22 | 英特尔公司 | 网络组件、管理数据的方法和设备和机器可读介质 |
| CN110796622A (zh) * | 2019-10-30 | 2020-02-14 | 天津大学 | 一种基于串联神经网络多层特征的图像比特增强方法 |
| CN111008938A (zh) * | 2019-11-25 | 2020-04-14 | 天津大学 | 一种基于内容和连续性引导的实时多帧比特增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570353B (zh) * | 2019-08-27 | 2023-05-12 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
-
2020
- 2020-06-09 CN CN202010518040.0A patent/CN111681192B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105103548A (zh) * | 2013-04-08 | 2015-11-25 | 索尼公司 | 根据输入数据的位深选择变换数据的最大动态范围和变换矩阵的数据精度 |
| CN106162199A (zh) * | 2015-09-28 | 2016-11-23 | 苏州踪视通信息技术有限公司 | 带反向信道消息管理的视频处理的方法和系统 |
| CN110365513A (zh) * | 2018-04-10 | 2019-10-22 | 英特尔公司 | 网络组件、管理数据的方法和设备和机器可读介质 |
| CN110796622A (zh) * | 2019-10-30 | 2020-02-14 | 天津大学 | 一种基于串联神经网络多层特征的图像比特增强方法 |
| CN111008938A (zh) * | 2019-11-25 | 2020-04-14 | 天津大学 | 一种基于内容和连续性引导的实时多帧比特增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization";Yang Zhang等;《arXiv》;20200407;第1-13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111681192A (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Multi-scale single image dehazing using perceptual pyramid deep network | |
| Niklaus et al. | Video frame interpolation via adaptive separable convolution | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| Goyal et al. | Fast and enhanced algorithm for exemplar based image inpainting | |
| CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| Raj et al. | Single image haze removal using a generative adversarial network | |
| CN112509001A (zh) | 一种多尺度和多特征融合的特征金字塔网络盲复原方法 | |
| CN110796622B (zh) | 一种基于串联神经网络多层特征的图像比特增强方法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN111008938B (zh) | 一种基于内容和连续性引导的实时多帧比特增强方法 | |
| Singla et al. | A review on Single Image Super Resolution techniques using generative adversarial network | |
| CN102360498A (zh) | 图像超分辨率重建方法 | |
| CN110852964A (zh) | 一种基于深度学习的图像比特增强方法 | |
| CN111681192B (zh) | 一种基于残差图像条件生成对抗网络的比特深度增强方法 | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN109949222A (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN117710216B (zh) | 一种基于变分自编码器的图像超分辨率重建方法 | |
| CN116228550A (zh) | 一种基于生成对抗网络的图像自增强去雾算法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN112435165B (zh) | 基于生成对抗网络的两阶段视频超分辨率重建方法 | |
| CN113160056A (zh) | 一种基于深度学习的带噪图像超分辨率重建方法 | |
| Wang | Single image super-resolution with u-net generative adversarial networks | |
| CN114663315B (zh) | 基于语义融合生成对抗网络的图像比特增强方法及装置 | |
| CN115375539A (zh) | 图像分辨率增强、多帧图像超分辨率系统和方法 | |
| Zhang et al. | Deep residual network based medical image reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Jing Inventor after: Yu Jiexiao Inventor after: Fan Huihui Inventor after: Su Yuting Inventor before: Yu Jiexiao Inventor before: Fan Huihui Inventor before: Liu Jing Inventor before: Su Yuting |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |