CN113837945A - 一种基于超分辨率重建的显示画质优化方法及系统 - Google Patents

一种基于超分辨率重建的显示画质优化方法及系统 Download PDF

Info

Publication number
CN113837945A
CN113837945A CN202111156447.4A CN202111156447A CN113837945A CN 113837945 A CN113837945 A CN 113837945A CN 202111156447 A CN202111156447 A CN 202111156447A CN 113837945 A CN113837945 A CN 113837945A
Authority
CN
China
Prior art keywords
super
network
resolution reconstruction
discriminator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111156447.4A
Other languages
English (en)
Other versions
CN113837945B (zh
Inventor
林志贤
竺可沁
林珊玲
林坚普
张永爱
周雄图
叶芸
郭太良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111156447.4A priority Critical patent/CN113837945B/zh
Publication of CN113837945A publication Critical patent/CN113837945A/zh
Application granted granted Critical
Publication of CN113837945B publication Critical patent/CN113837945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于超分辨率重建的显示画质优化方法及系统，该方法包括超分辨率重建过程和对比度增强过程，超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；GAN网络框架由生成器和判别器两部分组成，生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。该方法及系统有利于重建出视觉感受更好、更为真实的图像。

Description

一种基于超分辨率重建的显示画质优化方法及系统
技术领域
本发明属于图像处理领域，具体涉及一种基于超分辨率重建的显示画质优化方法及系统。
背景技术
随着信息产业的飞速发展，显示器的分辨率标准从VCD时代的360P标准一直更新到目前的全高清1080P和4K标准。与此同时，一系列画质增强技术:动态补偿、HDR和超分辨率重建等蓬勃发展，使市场对显示画质的要求越来越高。不断增加的分辨率给设备的处理性能、储存方式和网络传输等带来了巨大的挑战。由于信号源的画质远无法匹配高分辨率显示设备的性能，最终导致呈现在显示设备上的画面与人们的视觉感知期望有较大的差距，浪费了高分辨率显示设备的硬件性能。所以，通过画质增强算法，以尽可能高的品质在显示设备上优化图像显示有重要的研究意义。
在现有的实际应用中，画质增强系统往往采用传统的超分辨率算法。传统算法的计算量较少，但是效果较差。基于机器学习的超分辨率算法则主要包括卷积神经网络(CNN)和生成对抗网络(GAN)两大类。基于CNN的算法对于人眼的主观观感较为一般。2017年，Christian Ledig等人提出了SRGAN，为图像SR领域引入了生成对抗网络。SRGAN利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。相比基于CNN重建得到的网络，其重建生成的图像有更多的高频细节，拥有更好的视觉效果。然而其在超分辨率重建领域中的应用仍不够成熟，有较大的发展空间。
在超分重建之后，虽然清晰度上升，但要继续提高观感，则需要再加入对比度增强算法。目前，随着HDR技术的逐渐普及。图像对比度也成为了影响图像质量的关键因素之一。经过对比度增强的图像能极大的提升观感。
目前的研究对于基于学习的算法还有很大的提升空间。所以，为了能达到更好的图像处理效果，有必要设计一种新方法针对显示画质进行增强。
发明内容
本发明的目的在于提供一种基于超分辨率重建的显示画质优化方法及系统，该方法及系统有利于重建出视觉感受更好、更为真实的图像。
为实现上述目的，本发明采用的技术方案是：一种基于超分辨率重建的显示画质优化方法，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。
进一步地，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。
进一步地，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和Leaky ReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。
进一步地，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；
将相对平均判别器RaD记为DRa，则标准鉴别器表示为：
D(x)＝σ(C(x))
其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：
Figure BDA0003288518190000021
其中，
Figure BDA0003288518190000022
表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：
Figure BDA0003288518190000023
生成网络的对称性对抗性损失为：
Figure BDA0003288518190000024
其中，xf＝G(xi)和xi表示输入的低分辨率图像。
进一步地，所述GAN网络框架的感知函数采用激活之前的特征进行感知损失Lpercep的计算；经过改进的生成器总损失为：
Figure BDA0003288518190000031
Figure BDA0003288518190000032
上式用来平衡图像G(xi)和标准值y,λ,η之间不同损失项的损失函数。
进一步地，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更高的PSNR分数。
进一步地，对GAN进行训练，采用预先训练网络以首先针对PSNR进行优化，然后使用GAN对其进行微调；对生成网络和鉴别网络的所有相应参数进行插值，得到一个插值模型GINTERP，其参数为：
Figure BDA0003288518190000033
其中，
Figure BDA0003288518190000034
分别为参数GPSNR，GINTERP，GGAN，α∈[0,1]为插值参数。
进一步地，采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强，包括以下步骤：
S1、将输入图像按给定参数分成均等大小的子区域，并假设各子区域内包含的像素值和为S；
S2、计算图像的直方图；用Uxy(k)表示各个子区域的直方图，其中k表示局部子区域的灰度级数，取值范围为[0,N-1]，N为该子区域的最大灰度级数；计算受限值β：
Figure BDA0003288518190000035
α∈[0,100]
其中，α表示截断系数；lmax为最大斜率，取值范围为[1,4]，lmax的取值决定对比度增强的幅度；
S3、重新分配像素点对于每块子区域的β，截取该子域的直方图Uxy(k)，得到截取总数为：
Ex＝Uxy(k)-β
并将其平均分配到直方图的各灰度级中，计算平均分配的像素数为：
av＝Ex/N
计算分配剩余像素数步长：
L＝Ls/Ex
其中，Ls为灰度范围长度；
然后循环检测直方图中各灰度级数大小，当其值小于该区域内受限值β时，为其分配平均像素数av，重复分配操作，直至截取的像素总数被分配完成；
S4、应用双线性插值进行灰度值重构；
假设函数f(x)有4个已知点的值分别为Q11(x1，y1)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，y2)，则在函数f(x)上的任意点p＝(x，y)通过线性插值近似求出；在x方向上进行线性插值，得到：
Figure BDA0003288518190000041
R1＝(x,y1)
Figure BDA0003288518190000042
R2＝(x,y2)
同理，对y方向进行线性插值，得到：
Figure BDA0003288518190000043
R1＝(x,y1) R2＝(x,y2)
其中，f(Q11)、f(Q12)、f(Q21)和f(Q22)表示经过直方图均衡化后，4个相邻区域中直方图的灰度值；利用上述方法，计算输出图像各点的灰度值，并根据灰度值重建图像。
本发明还提供了一种基于超分辨率重建的显示画质优化系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
与现有技术相比，本发明具有以下有益效果：提供了一种基于超分辨率重建的显示画质优化方法及系统，该方法及系统能重建出视觉感受更好、更为真实的图像，可广泛应用于视频娱乐领域，达到较大的使用价值。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中生成器的实现原理图。
图3是本发明实施例的生成器中卷积模块的实现原理图。
图4是本发明实施例中生成对抗网络的训练流程图。
图5是本发明实施例中输入的低分辨率图像和原始图像。
图6是本发明实施例中图像优化结果示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于超分辨率重建的显示画质优化方法，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，如图2所示，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用LeakyReLU作为激活函数，以取消常规卷积过程中的最大池化操作；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。
如图3所示，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。
在本实施例中，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和LeakyReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。
在本实施例中，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；
将相对平均判别器RaD记为DRa，则标准鉴别器表示为：
D(x)＝σ(C(x))
其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：
Figure BDA0003288518190000051
其中，
Figure BDA0003288518190000061
表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：
Figure BDA0003288518190000062
生成网络的对称性对抗性损失为：
Figure BDA0003288518190000063
其中，xf＝G(xi)和xi表示输入的低分辨率图像。
在本实施例中，所述GAN网络框架的感知函数采用相比常见网络更有效的激活策略：即采用激活之前的特征进行感知损失Lpercep的计算；经过改进的生成器总损失为：
Figure BDA0003288518190000064
Figure BDA0003288518190000065
上式用来平衡图像G(xi)和标准值y,λ,η之间不同损失项的损失函数。
在本实施例中，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更高的PSNR分数。
在本实施例中，对GAN进行训练，采用预先训练网络以首先针对PSNR进行优化，然后使用GAN对其进行微调；GAN的训练流程如图4所示；对生成网络和鉴别网络的所有相应参数进行插值，得到一个插值模型GINTERP，其参数为：
Figure BDA0003288518190000066
其中，
Figure BDA0003288518190000067
分别为参数GPSNR，GINTERP，GGAN，α∈[0,1]为插值参数。
在本实施例中，采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强，包括以下步骤：
S1、将输入图像按给定参数分成均等大小的子区域，并假设各子区域内包含的像素值和为S；
S2、计算图像的直方图；用Uxy(k)表示各个子区域的直方图，其中k表示局部子区域的灰度级数，取值范围为[0,N-1]，N为该子区域的最大灰度级数；计算受限值β：
Figure BDA0003288518190000068
α∈[0,100]
其中，α表示截断系数；lmax为最大斜率，取值范围为[1,4]，lmax的取值决定对比度增强的幅度；
S3、重新分配像素点对于每块子区域的β，截取该子域的直方图Uxy(k)，得到截取总数为：
Ex＝Uxy(k)-β
并将其平均分配到直方图的各灰度级中，计算平均分配的像素数为：
av＝Ex/N
计算分配剩余像素数步长：
L＝Ls/Ex
其中，Ls为灰度范围长度；
然后循环检测直方图中各灰度级数大小，当其值小于该区域内受限值β时，为其分配平均像素数av，重复分配操作，直至截取的像素总数被分配完成；
S4、应用双线性插值进行灰度值重构；
假设函数f(x)有4个已知点的值分别为Q11(x1，y1)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，y2)，则在函数f(x)上的任意点p＝(x，y)通过线性插值近似求出；在x方向上进行线性插值，得到：
Figure BDA0003288518190000071
R1＝(x,y1)
Figure BDA0003288518190000072
R2＝(x,y2)
同理，对y方向进行线性插值，得到：
Figure BDA0003288518190000073
R1＝(x,y1) R2＝(x,y2)
其中，f(Q11)、f(Q12)、f(Q21)和f(Q22)表示经过直方图均衡化后，4个相邻区域中直方图的灰度值；利用上述方法，计算输出图像各点的灰度值，并根据灰度值重建图像。
本实施例还提供了一种基于超分辨率重建的显示画质优化系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于超分辨率重建的显示画质优化方法，其特征在于，包括超分辨率重建过程和对比度增强过程，所述超分辨率重建过程采用基于生成对抗网络GAN的网络框架对输入的低分辨率图像进行超分辨率重建；所述GAN网络框架由生成器和判别器两部分组成，所述生成器包括16个卷积模块，其后设置3个亚像素卷积层和1个升采样层，以得到一个四倍放大率的输出图像；所述判别器采用8个卷积模块，使用Leaky ReLU作为激活函数；预训练网络以首先针对PSNR进行优化，然后对其进行微调；所述对比度增强过程采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强。
2.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述生成器中的卷积模块由SRGAN中的卷积模块改进得到，其使用多个密集连接的conv层和Leaky ReLU层。
3.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述判别器中的卷积模块，每个卷积模块由conv层、BN层和Leaky ReLU层组成；在运算过程中，网络的特征图由64层增加到512层，每层特征图的增长采用步长为2的卷积核，以减少输出尺寸；最后利用两个全连接网络和一个sigmoid激活函数，来获得样本分类的概率，以此判别真伪。
4.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述判别器采用相对生成对抗网络的判别网络设计，让判别器判断相对真实度而不是绝对值；
将相对平均判别器RaD记为DRa，则标准鉴别器表示为：
D(x)＝σ(C(x))
其中，σ()为sigmoid函数，C(x)为非变换判别器输出；RaD表示为：
Figure FDA0003288518180000011
其中，
Figure FDA0003288518180000012
表示对一次批处理中所有假数据取平均值的操作；此时，判别网络的损失定义为：
Figure FDA0003288518180000013
生成网络的对称性对抗性损失为：
Figure FDA0003288518180000014
其中，xf＝G(xi)和xi表示输入的低分辨率图像。
5.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述GAN网络框架的感知函数采用激活之前的特征进行感知损失Lpercep的计算；经过改进的生成器总损失为：
Figure FDA0003288518180000021
Figure FDA0003288518180000022
上式用来平衡图像G(xi)和标准值y,λ,η之间不同损失项的损失函数。
6.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，所述GAN网络框架在像素域使用MSE损失函数，其通过逐像素对比两类不同图像来保证获得更高的PSNR分数。
7.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，对GAN进行训练，采用预先训练网络以首先针对PSNR进行优化，然后使用GAN对其进行微调；对生成网络和鉴别网络的所有相应参数进行插值，得到一个插值模型GINTERP，其参数为：
Figure FDA0003288518180000023
其中，
Figure FDA0003288518180000024
分别为参数GPSNR，GINTERP，GGAN，α∈[0,1]为插值参数。
8.根据权利要求1所述的一种基于超分辨率重建的显示画质优化方法，其特征在于，采用基于CLAHE的对比度增强算法对超分辨率重建得到的图像进行对比度增强，包括以下步骤：
S1、将输入图像按给定参数分成均等大小的子区域，并假设各子区域内包含的像素值和为S；
S2、计算图像的直方图；用Uxy(k)表示各个子区域的直方图，其中k表示局部子区域的灰度级数，取值范围为[0,N-1]，N为该子区域的最大灰度级数；计算受限值β：
Figure FDA0003288518180000025
其中，α表示截断系数；lmax为最大斜率，取值范围为[1,4]，lmax的取值决定对比度增强的幅度；
S3、重新分配像素点对于每块子区域的β，截取该子域的直方图Uxy(k)，得到截取总数为：
Ex＝Uxy(k)-β
并将其平均分配到直方图的各灰度级中，计算平均分配的像素数为：
av＝Ex/N
计算分配剩余像素数步长：
L＝Ls/Ex
其中，Ls为灰度范围长度；
然后循环检测直方图中各灰度级数大小，当其值小于该区域内受限值β时，为其分配平均像素数av，重复分配操作，直至截取的像素总数被分配完成；
S4、应用双线性插值进行灰度值重构；
假设函数f(x)有4个已知点的值分别为Q11(x1，y1)、Q12(x1，y2)、Q21(x2，y1)、Q22(x2，y2)，则在函数f(x)上的任意点p＝(x，y)通过线性插值近似求出；在x方向上进行线性插值，得到：
Figure FDA0003288518180000031
Figure FDA0003288518180000032
同理，对y方向进行线性插值，得到：
Figure FDA0003288518180000033
其中，f(Q11)、f(Q12)、f(Q21)和f(Q22)表示经过直方图均衡化后，4个相邻区域中直方图的灰度值；利用上述方法，计算输出图像各点的灰度值，并根据灰度值重建图像。
9.一种基于超分辨率重建的显示画质优化系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8所述的方法步骤。
CN202111156447.4A 2021-09-30 2021-09-30 一种基于超分辨率重建的显示画质优化方法及系统 Active CN113837945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111156447.4A CN113837945B (zh) 2021-09-30 2021-09-30 一种基于超分辨率重建的显示画质优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111156447.4A CN113837945B (zh) 2021-09-30 2021-09-30 一种基于超分辨率重建的显示画质优化方法及系统

Publications (2)

Publication Number Publication Date
CN113837945A true CN113837945A (zh) 2021-12-24
CN113837945B CN113837945B (zh) 2023-08-04

Family

ID=78967690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111156447.4A Active CN113837945B (zh) 2021-09-30 2021-09-30 一种基于超分辨率重建的显示画质优化方法及系统

Country Status (1)

Country Link
CN (1) CN113837945B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115610A (zh) * 2022-07-20 2022-09-27 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN111080522A (zh) * 2019-12-13 2020-04-28 福州大学 一种基于双向对抗网络的图像超分辨率重建方法
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112616054A (zh) * 2020-12-11 2021-04-06 北京林业大学 野生动物监测图像自适应压缩传输与恢复方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN111080522A (zh) * 2019-12-13 2020-04-28 福州大学 一种基于双向对抗网络的图像超分辨率重建方法
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112150379A (zh) * 2020-09-22 2020-12-29 武汉工程大学 基于感知判别增强生成对抗网络的图像去雾方法及装置
CN112616054A (zh) * 2020-12-11 2021-04-06 北京林业大学 野生动物监测图像自适应压缩传输与恢复方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘蒙钊: "《基于生成对抗网络的声呐图像增强方法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 1 - 61 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115610A (zh) * 2022-07-20 2022-09-27 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115115610B (zh) * 2022-07-20 2023-08-22 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法

Also Published As

Publication number Publication date
CN113837945B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
Rao et al. A Survey of Video Enhancement Techniques.
US20220335583A1 (en) Image processing method, apparatus, and system
CN111798400A (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
JP2000512833A (ja) 単眼視キューの統合による奥行き知覚の改善
EP2449524A1 (en) Contrast enhancement
US20230052483A1 (en) Super resolution using convolutional neural network
US20210374925A1 (en) Image Enhancement System and Method
Patel et al. A generative adversarial network for tone mapping hdr images
US20220172322A1 (en) High resolution real-time artistic style transfer pipeline
Li et al. Hdrnet: Single-image-based hdr reconstruction using channel attention cnn
CN115082341A (zh) 基于事件相机的弱光图像增强方法
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
Xu et al. Deep video inverse tone mapping
CN114463207B (zh) 基于全局动态范围压缩与局部亮度估计的色阶映射方法
CN113837945A (zh) 一种基于超分辨率重建的显示画质优化方法及系统
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN111696034B (zh) 图像处理方法、装置及电子设备
CN117611467A (zh) 一种能同时平衡不同区域细节和亮度的低光图像增强方法
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
CN115375539A (zh) 图像分辨率增强、多帧图像超分辨率系统和方法
Li Image super-resolution algorithm based on RRDB model
Hui et al. Rate-adaptive neural network for image compressive sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant