CN113837945B - 一种基于超分辨率重建的显示画质优化方法及系统 - Google Patents
一种基于超分辨率重建的显示画质优化方法及系统 Download PDFInfo
- Publication number
- CN113837945B CN113837945B CN202111156447.4A CN202111156447A CN113837945B CN 113837945 B CN113837945 B CN 113837945B CN 202111156447 A CN202111156447 A CN 202111156447A CN 113837945 B CN113837945 B CN 113837945B
- Authority
- CN
- China
- Prior art keywords
- super
- resolution reconstruction
- network
- contrast enhancement
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000004913 activation Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000016776 visual perception Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于超分辨率重建的显示画质优化方法及系统，该方法包括超分辨率重建过程和对比度增强过程，超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；GAN网络框架由生成器和判别器两部分组成，生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。该方法及系统有利于重建出视觉感受更好、更为真实的图像。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于超分辨率重建的显示画质优化方法及系统。
背景技术
随着信息产业的飞速发展，显示器的分辨率标准从VCD时代的360P标准一直更新到目前的全高清1080P和4K标准。与此同时，一系列画质增强技术:动态补偿、HDR和超分辨率重建等蓬勃发展，使市场对显示画质的要求越来越高。不断增加的分辨率给设备的处理性能、储存方式和网络传输等带来了巨大的挑战。由于信号源的画质远无法匹配高分辨率显示设备的性能，最终导致呈现在显示设备上的画面与人们的视觉感知期望有较大的差距，浪费了高分辨率显示设备的硬件性能。所以，通过画质增强算法，以尽可能高的品质在显示设备上优化图像显示有重要的研究意义。
在现有的实际应用中，画质增强系统往往采用传统的超分辨率算法。传统算法的计算量较少，但是效果较差。基于机器学习的超分辨率算法则主要包括卷积神经网络(CNN)和生成对抗网络(GAN)两大类。基于CNN的算法对于人眼的主观观感较为一般。2017年，Christian Ledig等人提出了SRGAN，为图像SR领域引入了生成对抗网络。SRGAN利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。相比基于CNN重建得到的网络，其重建生成的图像有更多的高频细节，拥有更好的视觉效果。然而其在超分辨率重建领域中的应用仍不够成熟，有较大的发展空间。
在超分重建之后，虽然清晰度上升，但要继续提高观感，则需要再加入对比度增强算法。目前，随着HDR技术的逐渐普及。图像对比度也成为了影响图像质量的关键因素之一。经过对比度增强的图像能极大的提升观感。
目前的研究对于基于学习的算法还有很大的提升空间。所以，为了能达到更好的图像处理效果，有必要设计一种新方法针对显示画质进行增强。
发明内容
本发明的目的在于提供一种基于超分辨率重建的显示画质优化方法及系统，该方法及系统有利于重建出视觉感受更好、更为真实的图像。
为实现上述目的，本发明采用的技术方案是：一种基于超分辨率重建的显示画质优化方法，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。
进一步地，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。
进一步地，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和Leaky ReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。
进一步地，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；
将相对平均判别器RaD记为DRa，则标准鉴别器表示为：
D(x)＝σ(C(x))
其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：
其中，表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：
生成网络的对称性对抗性损失为：
其中，xf＝G(xi)和xi表示输入的低分辨率图像。
进一步地，所述GAN网络框架的感知函数采用激活之前的特征进行感知损失Lpercep的计算；经过改进的生成器总损失为：
上式用来平衡图像G(xi)和标准值y,λ,η之间不同损失项的损失函数。
进一步地，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更高的PSNR分数。
进一步地，对GAN进行训练，采用预先训练网络以首先针对PSNR进行优化，然后使用GAN对其进行微调；对生成网络和鉴别网络的所有相应参数进行插值，得到一个插值模型GINTERP，其参数为：
其中，分别为参数GPSNR，GINTERP，GGAN，α∈[0,1]为插值参数。
进一步地，采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强，包括以下步骤：
S1、将输入图像按给定参数分成均等大小的子区域，并假设各子区域内包含的像素值和为S；
S2、计算图像的直方图；用Uxy(k)表示各个子区域的直方图，其中k表示局部子区域的灰度级数，取值范围为[0,N-1]，N为该子区域的最大灰度级数；计算受限值β：
α∈[0,100]
其中，α表示截断系数；lmax为最大斜率，取值范围为[1,4]，lmax的取值决定对比度增强的幅度；
S3、重新分配像素点对于每块子区域的β，截取该子域的直方图Uxy(k)，得到截取总数为：
Ex＝Uxy(k)-β
并将其平均分配到直方图的各灰度级中，计算平均分配的像素数为：
av＝Ex/N
计算分配剩余像素数步长：
L＝Ls/Ex
其中，Ls为灰度范围长度；
然后循环检测直方图中各灰度级数大小，当其值小于该区域内受限值β时，为其分配平均像素数av，重复分配操作，直至截取的像素总数被分配完成；
S4、应用双线性插值进行灰度值重构；
假设函数f(x)有4个已知点的值分别为Q11(x1，y1)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，y2)，则在函数f(x)上的任意点p＝(x，y)通过线性插值近似求出；在x方向上进行线性插值，得到：
R1＝(x,y1)
R2＝(x,y2)
同理，对y方向进行线性插值，得到：
R1＝(x,y1) R2＝(x,y2)
其中，f(Q11)、f(Q12)、f(Q21)和f(Q22)表示经过直方图均衡化后，4个相邻区域中直方图的灰度值；利用上述方法，计算输出图像各点的灰度值，并根据灰度值重建图像。
本发明还提供了一种基于超分辨率重建的显示画质优化系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
与现有技术相比，本发明具有以下有益效果：提供了一种基于超分辨率重建的显示画质优化方法及系统，该方法及系统能重建出视觉感受更好、更为真实的图像，可广泛应用于视频娱乐领域，达到较大的使用价值。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中生成器的实现原理图。
图3是本发明实施例的生成器中卷积模块的实现原理图。
图4是本发明实施例中生成对抗网络的训练流程图。
图5是本发明实施例中输入的低分辨率图像和原始图像。
图6是本发明实施例中图像优化结果示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于超分辨率重建的显示画质优化方法，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，如图2所示，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用LeakyReLU作为激活函数，以取消常规卷积过程中的最大池化操作；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。
如图3所示，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。
在本实施例中，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和LeakyReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。
在本实施例中，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；
将相对平均判别器RaD记为DRa，则标准鉴别器表示为：
D(x)＝σ(C(x))
其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：
其中，表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：
生成网络的对称性对抗性损失为：
其中，xf＝G(xi)和xi表示输入的低分辨率图像。
在本实施例中，所述GAN网络框架的感知函数采用相比常见网络更有效的激活策略：即采用激活之前的特征进行感知损失Lpercep的计算；经过改进的生成器总损失为：
上式用来平衡图像G(xi)和标准值y,λ,η之间不同损失项的损失函数。
在本实施例中，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更高的PSNR分数。
在本实施例中，对GAN进行训练，采用预先训练网络以首先针对PSNR进行优化，然后使用GAN对其进行微调；GAN的训练流程如图4所示；对生成网络和鉴别网络的所有相应参数进行插值，得到一个插值模型GINTERP，其参数为：
其中，分别为参数GPSNR，GINTERP，GGAN，α∈[0,1]为插值参数。
在本实施例中，采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强，包括以下步骤：
S1、将输入图像按给定参数分成均等大小的子区域，并假设各子区域内包含的像素值和为S；
S2、计算图像的直方图；用Uxy(k)表示各个子区域的直方图，其中k表示局部子区域的灰度级数，取值范围为[0,N-1]，N为该子区域的最大灰度级数；计算受限值β：
α∈[0,100]
其中，α表示截断系数；lmax为最大斜率，取值范围为[1,4]，lmax的取值决定对比度增强的幅度；
S3、重新分配像素点对于每块子区域的β，截取该子域的直方图Uxy(k)，得到截取总数为：
Ex＝Uxy(k)-β
并将其平均分配到直方图的各灰度级中，计算平均分配的像素数为：
av＝Ex/N
计算分配剩余像素数步长：
L＝Ls/Ex
其中，Ls为灰度范围长度；
然后循环检测直方图中各灰度级数大小，当其值小于该区域内受限值β时，为其分配平均像素数av，重复分配操作，直至截取的像素总数被分配完成；
S4、应用双线性插值进行灰度值重构；
假设函数f(x)有4个已知点的值分别为Q11(x1，y1)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，y2)，则在函数f(x)上的任意点p＝(x，y)通过线性插值近似求出；在x方向上进行线性插值，得到：
R1＝(x,y1)
R2＝(x,y2)
同理，对y方向进行线性插值，得到：
R1＝(x,y1) R2＝(x,y2)
其中，f(Q11)、f(Q12)、f(Q21)和f(Q22)表示经过直方图均衡化后，4个相邻区域中直方图的灰度值；利用上述方法，计算输出图像各点的灰度值，并根据灰度值重建图像。
本实施例还提供了一种基于超分辨率重建的显示画质优化系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (8)
1.一种基于超分辨率重建的显示画质优化方法，其特征在于，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强；
采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强，包括以下步骤：
S1、将输入图像按给定参数分成均等大小的子区域，并假设各子区域内包含的像素值和为S；
S2、计算图像的直方图；用Uxy(k)表示各个子区域的直方图，其中k表示局部子区域的灰度级数，取值范围为[0,N-1]，N为该子区域的最大灰度级数；计算受限值β：
其中，α表示截断系数；lmax为最大斜率，取值范围为[1,4]，lmax的取值决定对比度增强的幅度；
S3、重新分配像素点对于每块子区域的β，截取该子区域的直方图Uxy(k)，得到截取总数为：
Ex＝Uxy(k)-β
并将其平均分配到直方图的各灰度级中，计算平均分配的像素数为：
av＝Ex/N
计算分配剩余像素数步长：
L＝Ls/Ex
其中，Ls为灰度范围长度；
然后循环检测直方图中各灰度级数大小，当其值小于该区域内受限值β时，为其分配平均像素数av，重复分配操作，直至截取的像素总数被分配完成；
S4、应用双线性插值进行灰度值重构；
假设函数f(x)有4个已知点的值分别为Q11(x1，y1)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，y2)，则在函数f(x)上的任意点p＝(x，y)通过线性插值近似求出；在x方向上进行线性插值，得到：
同理，对y方向进行线性插值，得到：
其中，f(Q11)、f(Q12)、f(Q21)和f(Q22)表示经过直方图均衡化后，4个相邻区域中直方图的灰度值；利用上述方法，计算输出图像各点的灰度值，并根据灰度值重建图像。
2.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。
3.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和Leaky ReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。
4.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；
将相对平均判别器RaD记为DRa，则标准鉴别器表示为：
D(x)＝σ(C(x))
其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：
其中，表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：
生成网络的对称性对抗性损失为：
其中，xf＝G(xi)和xi表示输入的低分辨率图像。
5.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述GAN网络框架的感知函数采用激活之前的特征进行感知损失Lpercep的计算；经过改进的生成器总损失为：
上式用来平衡图像G(xi)和标准值y,λ,η之间不同损失项的损失函数。
6.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更高的PSNR分数。
7.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，对GAN进行训练，采用预先训练网络以首先针对PSNR进行优化，然后使用GAN对其进行微调；对生成网络和鉴别网络的所有相应参数进行插值，得到一个插值模型GINTERP，其参数为：
其中，分别为参数GPSNR，GINTERP，GGAN，α∈[0,1]为插值参数。
8.一种基于超分辨率重建的显示画质优化系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111156447.4A CN113837945B (zh) | 2021-09-30 | 2021-09-30 | 一种基于超分辨率重建的显示画质优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111156447.4A CN113837945B (zh) | 2021-09-30 | 2021-09-30 | 一种基于超分辨率重建的显示画质优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837945A CN113837945A (zh) | 2021-12-24 |
| CN113837945B true CN113837945B (zh) | 2023-08-04 |
Family
ID=78967690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111156447.4A Active CN113837945B (zh) | 2021-09-30 | 2021-09-30 | 一种基于超分辨率重建的显示画质优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837945B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115610B (zh) * | 2022-07-20 | 2023-08-22 | 南京航空航天大学 | 基于改进卷积神经网络的工业ct识别复材内部缺陷方法 |
| CN118261794B (zh) * | 2024-03-22 | 2024-10-18 | 北京启瞳智能科技有限公司 | 超声图像处理方法、装置、设备及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN111080522A (zh) * | 2019-12-13 | 2020-04-28 | 福州大学 | 一种基于双向对抗网络的图像超分辨率重建方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112150379A (zh) * | 2020-09-22 | 2020-12-29 | 武汉工程大学 | 基于感知判别增强生成对抗网络的图像去雾方法及装置 |
| CN112616054A (zh) * | 2020-12-11 | 2021-04-06 | 北京林业大学 | 野生动物监测图像自适应压缩传输与恢复方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2021
- 2021-09-30 CN CN202111156447.4A patent/CN113837945B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN111080522A (zh) * | 2019-12-13 | 2020-04-28 | 福州大学 | 一种基于双向对抗网络的图像超分辨率重建方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112150379A (zh) * | 2020-09-22 | 2020-12-29 | 武汉工程大学 | 基于感知判别增强生成对抗网络的图像去雾方法及装置 |
| CN112616054A (zh) * | 2020-12-11 | 2021-04-06 | 北京林业大学 | 野生动物监测图像自适应压缩传输与恢复方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于生成对抗网络的声呐图像增强方法研究》;刘蒙钊;《中国优秀硕士学位论文全文数据库信息科技辑》;1-61页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837945A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kaplanyan et al. | DeepFovea: Neural reconstruction for foveated rendering and video compression using learned statistics of natural videos | |
| Chen et al. | Hdrunet: Single image hdr reconstruction with denoising and dequantization | |
| Liu et al. | Perceptual reduced-reference visual quality assessment for contrast alteration | |
| CN113837945B (zh) | 一种基于超分辨率重建的显示画质优化方法及系统 | |
| CN106204474B (zh) | 局部多等级色调映射运算器 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| US11315222B2 (en) | Image processing apparatus and image processing method thereof | |
| Huang et al. | A new hardware-efficient algorithm and reconfigurable architecture for image contrast enhancement | |
| Zheng et al. | Ultra-high-definition image hdr reconstruction via collaborative bilateral learning | |
| US20220172322A1 (en) | High resolution real-time artistic style transfer pipeline | |
| CN111696034B (zh) | 图像处理方法、装置及电子设备 | |
| Li et al. | Hdrnet: Single-image-based hdr reconstruction using channel attention cnn | |
| López-Tapia et al. | A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models | |
| Chen et al. | An improved image enhancement framework based on multiple attention mechanism | |
| Zhang et al. | No-reference omnidirectional image quality assessment based on joint network | |
| CN114830168A (zh) | 图像重建方法、电子设备和计算机可读存储介质 | |
| Saha et al. | Perceptual video quality assessment: The journey continues! | |
| Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
| Xiang et al. | An effective network with ConvLSTM for low-light image enhancement | |
| Wu et al. | A framework of generative adversarial networks with novel loss for JPEG restoration and anti-forensics | |
| WO2023024660A1 (zh) | 一种图像增强的方法及装置 | |
| Dolhasz et al. | Learning to observe: Approximating human perceptual thresholds for detection of suprathreshold image transformations | |
| CN114463181B (zh) | 一种基于改进生成对抗网络的图像超分辨率方法 | |
| Li | Image super-resolution algorithm based on RRDB model | |
| Ghous et al. | Efficient image enhancement using improved RIQMC based ROHIM model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |