CN111325692A - 画质增强方法、装置、电子设备和可读存储介质 - Google Patents
画质增强方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111325692A CN111325692A CN202010106367.7A CN202010106367A CN111325692A CN 111325692 A CN111325692 A CN 111325692A CN 202010106367 A CN202010106367 A CN 202010106367A CN 111325692 A CN111325692 A CN 111325692A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- image quality
- images
- restored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 239000003623 enhancer Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 238000001914 filtration Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种画质增强方法、装置、电子设备和可读存储介质，涉及图像处理技术领域。该方法首先获取原始待修复图像，将所述原始待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像。接着，对调整后的原始待修复图像进行低分辨率修复，得到待增强图像。最后，基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。如此，加快了对图像进行画质增强的处理过程，提高了画质增强的效率。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种画质增强方法、装置、电子设备和可读存储介质。
背景技术
随着拍照场景如夜拍(模糊、噪点多)、抓拍(曝光时间短，画质差)等需求的多样化，对于画质修复的需求也越来越高。为此，需要对低画质图像做修复，满足用户日益多元化的拍照需求。
目前，对需要进行画质增强的图像进行处理时，只能针对特定尺度的图像进行处理，如分辨率为512x512大小的图像。对于较大尺度的图像，则采用分块依次处理的方式。这种方式耗时严重，比如一张分辨率为2048x2048的图像，必选裁成分辨率为512x512大小的图像进行处理，则需要单独处理16次，计算效率低。如何加快对图像进行画质增强的处理过程，提高画质增强的效率是值得探究的问题。
发明内容
有鉴于此，本申请提供了一种画质增强方法、装置、电子设备和可读存储介质，其以解决上述问题。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种画质增强方法，包括：
获取原始待修复图像，将所述原始待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像；
对调整后的原始待修复图像进行低分辨率修复，得到待增强图像；
基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。
在可选的实施方式中，所述画质增强模型通过以下步骤训练获得：
获取多张高分辨率图像，对各所述高分辨率图像进行预处理，获得多张待修复样本图像；
对所述待修复样本图像进行低分辨率修复，得到多张待增强样本图像；
利用多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像对预先构建的卷积神经网络进行训练，得到画质增强模型。
在可选的实施方式中，所述对各所述高分辨率图像进行预处理，获得多张待修复样本图像的步骤包括：
按预设插值算法，对各所述高分辨率图像进行下采样，得到多张低分辨率样本图像；
对多张所述低分辨率样本图像进行降画质处理，获得多张待修复样本图像。
在可选的实施方式中，所述对各所述待修复样本图像进行低分辨率修复，得到多张待增强样本图像的步骤包括：
将各所述待修复样本图像的分辨率调整至所述预设尺寸，得到调整后的多张待修复样本图像；
对调整后的多张待修复样本图像进行低分辨率修复，得到多张待增强样本图像。
在可选的实施方式中，所述对调整后的多张待修复样本图像进行低分辨率修复，得到多张待增强样本图像的步骤包括：
基于预先训练好的低分辨率修复模型，对调整后的各待修复样本图像进行低分辨率修复，得到多张待增强样本图像。
在可选的实施方式中，所述卷积神经网络包括画质增强子网络及超分辨率重建子网络，所述利用多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像对预先构建的卷积神经网络进行训练的步骤包括：
将多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像输入所述画质增强子网络；
利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述画质增强子网络对各所述待增强样本图像进行画质增强，得到多个第一输出图像；
基于所述超分辨率重建子网络对各所述第一输出图像进行超分辨率重建，得到多个第二输出图像；
根据所述第二输出图像和所述高分辨率图像，基于预设损失函数，通过反向传播算法对所述画质增强子网络及超分辨率重建子网络的权值进行调整，直至所述预设损失函数的输出小于预设阈值。
在可选的实施方式中，所述画质增强子网络包括深度引导滤波层及多个残差块，所述利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述画质增强子网络对各所述待增强样本图像进行画质增强，得到多个第一输出图像的步骤包括：
利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述深度引导滤波层对所述待增强样本图像进行画质重构处理，得到多个画质重构样本图像；
按预设的通道合并算法，合并各所述画质重构样本图像与所述高分辨率图像的处理通道；
通过所述多个残差块对合并处理通道后的所述画质重构样本图像及所述高分辨率图像进行逆退化处理，得到多个第一输出图像。
第二方面，本申请实施例提供一种画质增强装置，包括：
尺寸处理模块，用于获取原始待修复图像，将所述待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像；
低分辨率修复模块，用于对调整后的原始待修复图像进行低分辨率修复，得到待增强图像；
画质增强模块，用于基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。
第三方面，本申请实施例提供一种电子设备，所述设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式任意一项所述的画质增强方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任一项所述的画质增强方法。
本申请实施例提供了一种画质增强方法、装置、电子设备及可读存储介质，该方法首先获取原始待修复图像，将所述原始待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像。接着，对调整后的原始待修复图像进行低分辨率修复，得到待增强图像。最后，基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。如此，加快了对图像进行画质增强的处理过程，提高了画质增强的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图；
图2为本申请实施例提供的画质增强方法的流程图；
图3为本申请实施例提供的训练获得画质增强模型的流程图；
图4为本申请实施例提供的训练获得画质增强模型的子步骤的流程图；
图5为本申请实施例中提供的画质增强子网络的结构示意图；
图6为本申请实施例提供的局部方差函数的计算示意图；
图7为本申请实施例提供的画质增强装置的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-画质增强装置；131-尺寸处理模块；132-低分辨率修复模块；133-画质增强模块；1-深度引导滤波层；2-残差块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
经发明人研究发现，目前，对于老照片、低清和夜拍等图像，由于拍摄场景或早期手机画质低等因素，导致拍摄的图像不够清晰，需要对这种图像进行画质增强，以满足拍摄需求。对需要进行画质增强的图像进行处理时，只能针对特定尺度的图片进行处理，如分辨率为512x512大小的图，对于较大尺度的图像，则采用分块依次单独处理的方式。这种方式耗时严重，占用内存较大，比如一张分辨率为2048x2048的图，必选裁成分辨率为512x512大小的块进行处理，需要处理16次，计算效率低。
基于上述研究，本申请提供了一种画质增强方法、装置、电子设备及可读存储介质，该方法先将需要进行画质增强处理的待修复图像调整至预设尺寸，接着对调整后的待修复图像进行低分辨率修复，最后对低分辨率修复后的图像进行画质增强处理，获得画质增强后的结果图像。下面对上述方法进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构示意图。所述设备可以包括处理器120、存储器110、画质增强装置130及总线，所述存储器110存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器110之间通过总线通信，所述处理器120执行所述机器可读指令，并执行画质增强方法的步骤。
所述存储器110、处理器120以及其他各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。画质增强装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述画质增强装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random Access memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行所述程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由所述处理器120实现。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供了一种画质增强方法，应用于上述的电子设备100。
请参阅图2，图2为本申请实施例提供的一种画质增强方法的流程图。下面对图2所示的具体流程进行详细描述。
S1：获取原始待修复图像，将所述原始待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像。
可选地，上述原始待修复图像可以是老照片、清晰度低的图像或夜拍环境下获得的图像。这些图像由于拍摄场景或早期摄像设备不够好的原因，导致拍摄的照片不够清晰。图像存在保护噪点过多，模糊，曝光时间短等问题。
上述预设尺寸可以是任意尺寸，如，512×512、640×640。本申请实施例中，若该原始待修复图像的分辨率为2048×2048，将该原始待修复图像的分辨率调整至预设尺寸，则得到分辨率为预设尺寸的调整后的原始待修复图像。
S2：对调整后的原始待修复图像进行低分辨率修复，得到待增强图像。
由于分辨率调整后的原始待修复图像中的噪点形态会随着调整发生变化，因此，在画质增强处理前还需要对调整后的原始待修复图像进行低分辨率修复，以去除调整后的原始待修复图像中的噪点、马赛克、压缩、模糊和鬼影等，得到待增强图像。
S3：基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。
将待增强图像输入预先训练完成的画质增强模型中，基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。进一步地，请参阅图3，所述画质增强模型通过以下步骤训练获得：
S100：获取多张高分辨率图像，对各所述高分辨率图像进行预处理，获得多张待修复样本图像。
本申请实施例中，可利用摄像设备，例如单反相机，拍摄的高质量的4K(即，分辨率为4096×2160)图像作为训练卷积神经网络用的高分辨率图像，该高分辨率图像包括风景、人像等多种场景。
可通过如下方式对各所述高分辨率图像进行预处理，获得待修复样本图像：
首先，按预设插值算法，对各所述高分辨率图像进行下采样，得到多张低分辨率样本图像。
上述预设插值算法可以为最近邻插值法、双线性插值法和双三次插值法。使用上述的预设插值算法对高分辨率图像进行下采样，获得低分辨率样本图像。
对于每种特定相机拍出来的图像，其包含的噪点形态基本一致，目前基于深度学习的大部分方案是针对类似这种特定噪点的图像来去噪，当针对其他手机拍出来的图像进行去噪时，去噪效果则大幅下降。
因此，本申请实施例中，使用上述的预设插值算法对高分辨率图像进行下采样时，可按照不同的采样率进行下采样，以获得不同分辨率尺寸的低分辨率样本图像。按照不同的采样率进行下采样后，高分辨率图像中的噪点形态发生了不同的变化，以模拟不同摄像设备拍摄获得的图像，可提高后续的去噪效果。
接着，对所述低分辨率样本图像进行降画质处理，获得待修复样本图像。可以将预设噪声添加至所述低分辨率样本图像，并对添加预设噪声后的低分辨率图像进行压缩。本申请实施例中预设噪声可以是高斯噪声、椒盐噪声或其他常见的噪声，压缩方式可以是JPEG压缩。
S200：对各所述待修复样本图像进行低分辨率修复，得到多张待增强样本图像。
作为一种实施方式，首先，将各所述待修复样本图像的分辨率调整至所述预设尺寸，得到调整后的多张待修复样本图像。
由于需要加快对图像的画质增强速率，因此，可将待修复样本图像的分辨率调整至预设尺寸，例如，可将原始分辨率为2048x2048的待修复样本图，缩小到分辨率为512x512，以获得调整后的待修复样本图像。
进一步地，由于待修复样本图像的分辨率经过了调整，在调整的过程中，待修复样本图像的噪点形态往往会随之发生变化。因此，接着，本申请实施例还对调整后的多张待修复样本图像进行低分辨率修复，得到多张待增强样本图像。
接着，基于预先训练好的低分辨率修复模型，对调整后的各待修复样本图像进行低分辨率修复，例如，去噪、去模糊、去压缩、去马赛克去鬼影等修复处理，得到多张待增强样本图像，该待增强样本图像的分辨率同样为512×512。
同时，可使用常规的卷积神经网络训练方法，得到预先训练好的低分辨率修复模型。
在训练获得低分辨率修复模型的过程中，为了更好的模拟不同摄像设备拍摄获得的图像，取得更好的低分辨率修复效果，本申请实施例中还针对调整后的低分辨率图像进行数据增益。
例如，可以使用传统的滤波方法针对调整后的待修复样本图像进行滤波。由于传统的滤波方法往往无法完全去除早点，会留下突兀的色块，因此这种数据增益方法也可改变图像中的噪点形态。其中，滤波方法可以是双边滤波、导向滤波等。
使用进行数据增益后的低分辨率图像训练卷积神经网络，获得的低分辨率修复模型具有更好的低分辨率修复效果。其他训练获得低分辨率修复模型的具体原理和步骤可参考现有技术。
S300：利用多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像对预先构建的卷积神经网络进行训练，得到画质增强模型。
本申请实施例中，所述卷积神经网络包括画质增强子网络及超分辨率重建子网络。请参阅图4，可按S301-S304的步骤对预先构建的卷积神经网络进行训练：
S301：将多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像输入所述画质增强子网络。
S302：利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述画质增强子网络对各所述待增强样本图像进行画质增强，得到多个第一输出图像。
其中，请结合参阅图5，图5为本申请实施例中提供的画质增强子网络的结构示意图。所述画质增强子网络包括深度引导滤波层1及多个残差块2。
首先，利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述深度引导滤波层1对所述待增强样本图像进行画质重构处理，得到多个画质重构样本图像OH0。
图中，IH为高分辨率图像，IL为待修复样本图像，OL为待增强样本图像，F1(I)表示第一通用卷积网络结构，F2(I)为第二通用卷积网络结构。
同样以高分辨率图像IH的分辨率为4K、待修复样本图像IL的分辨率为1280×1280、待增强样本图像OL的分辨率为512×512为例。
将待修复样本图像IL输入至深度引导滤波层1(Deep Guided FilteringNetwork，DGF)的通用卷积网络结构F1(I)中，得到输出结果GL，将高分辨率图像IH输入至通用卷积网络结构F2(I)中，得到输出结果GH，将待增强样本图像输入以及输出结果GL均输入至参数计算层中，分别得到待修复样本图像IL与待增强样本图像的系数AL和bL。此步骤可将分辨率为512×512的待修复样本图像恢复为原始分辨率，即1280×1280。
将系数AL和bL经过双线性插值处理后，得到与高分辨率图像IH大小、通道数一致的系数AH和bH。此步骤可将图像的分辨率进一步放大至1920×1920。但此时放大后得到的图像中依然包含噪声、模糊等造成画质较差的因素。因此，将系数AH和bH结合输出结果GH经过线性层处理后，可获得画质重构样本图像OH0。此步骤可让分辨率为1920×1920的图像实现去噪、去模糊等修复效果的同时，在图像的分辨率为1920×1920时变得更清晰。
经过上述的深度引导滤波层1处理后可将分辨率为512×512的待增强样本图像OL放大为分辨率为1920×1920且画质较高的画质重构样本图像OH0。
接着，按预设的通道合并算法，合并各所述画质重构样本图像OH0与所述高分辨率图像IH的处理通道。
最后，通过所述多个残差块2对合并处理通道后的所述画质重构样本图像OH0及所述高分辨率图像IH进行逆退化处理，得到多个第一输出图像OH。
由于经过深度引导滤波层1进行画质增强处理后，依然会丢失一些细节，同时，卷积层过多也往往伴随着模型的退化，在处理图像的过程中会造成一定的偏差。因此，本申请实施例中还通过预设的通道合并算法，例如cincat算法，将画质重构样本图像OH0与所述高分辨率图像IH的处理通道合并为6通道，再经过多个残差块2进行逆退化处理，即可得到稳定的画质较好的第一输出图像OH。
S303：基于所述超分辨率重建子网络对各所述第一输出图像OH进行超分辨率重建，得到多个第二输出图像。
S304：根据所述第二输出图像和所述高分辨率图像，基于预设损失函数，通过反向传播算法对所述画质增强子网络及超分辨率重建子网络的权值进行调整，直至所述预设损失函数的输出小于预设阈值。
其中，本申请实施例中，为了获得更好的画质增强效果，还利用超分辨率重建子网络对画质增强后的第一输出图像进行超分辨率重建。
经研究发现，本申请实施例中，若使用常规的基于卷积神经网络训练得到的超分辨率重建网络，在细节方面的恢复效果依然有待提高。因此，本申请实施例还提供了一种预设损失函数，该预设损失函数可以为局部方差函数，基于局部方差函数，通过反向传播算法对画质增强子网络及超分辨率重建子网络的权值进行调整，以提高超分辨率处理后的效果，获得更清晰的画质。超分辨率重建子网络的其他训练原理和方法可参照现有技术。
请结合参阅图6，图6为本申请实施例提供的局部方差函数的计算示意图。图中，黑色的方块为像素点P，阴影部分为以像素点P为中心，一定半径的内像素点的集合。
以图像的任意一个通道为例，局部方差函数的计算方式为：针对一个像素点P，指定一个像素点为半径r，取像素点P周围(2r+1)×(2r+1)对应的多个像素点，例如，图中像素点P周围阴影部分所示的像素点。计算多个像素点中像素值的均值，并进一步计算方差。将计算获得的方差与预设阈值进行比较，通过多次反向训练调整画质增强子网络及超分辨率重建子网络的权值，直至局部方差函数的输出小于预设阈值。
局部方差函数反应了图像的局部细节信息，如果图像的细节信息越多，相应计算得到的方差就会越大，局部比较平滑，相应计算得到的方差就会越小。但是，图像中若含有噪声，方差也会比较大，不过全图经过去噪/去彩噪后，噪点已被去除，在进入超分网络时，已经是去除噪点的结果图，故超分网络采用局部方差来进行监督，有助于恢复图像的细节信息，又不会加强噪点，使整个图像更清晰。
请参阅图7，本申请实施例也提供了一种画质增强装置130，包括：
尺寸处理模块131，用于获取原始待修复图像，将所述待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像。
低分辨率修复模块132，用于对调整后的原始待修复图像进行低分辨率修复，得到待增强图像。
画质增强模块133，用于基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的画质增强装置130的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
本实施例也提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的画质增强方法。
综上所述，本申请实施例提供了一种画质增强方法、装置、电子设备100及可读存储介质，该方法首先获取原始待修复图像，将所述原始待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像。接着，对调整后的原始待修复图像进行低分辨率修复，得到待增强图像。最后，基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。如此，加快了对图像进行画质增强的过程，提高了画质增强的效率。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种画质增强方法，其特征在于，包括：
获取原始待修复图像，将所述原始待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像；
对调整后的原始待修复图像进行低分辨率修复，得到待增强图像；
基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。
2.根据权利要求1所述的画质增强方法，其特征在于，所述画质增强模型通过以下步骤训练获得：
获取多张高分辨率图像，对各所述高分辨率图像进行预处理，获得多张待修复样本图像；
对各所述待修复样本图像进行低分辨率修复，得到多张待增强样本图像；
利用多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像对预先构建的卷积神经网络进行训练，得到画质增强模型。
3.根据权利要求2所述的画质增强方法，其特征在于，所述对各所述高分辨率图像进行预处理，获得多张待修复样本图像的步骤包括：
按预设插值算法，对各所述高分辨率图像进行下采样，得到多张低分辨率样本图像；
对多张所述低分辨率样本图像进行降画质处理，获得多张待修复样本图像。
4.根据权利要求2所述的画质增强方法，其特征在于，所述对各所述待修复样本图像进行低分辨率修复，得到多张待增强样本图像的步骤包括：
将各所述待修复样本图像的分辨率调整至所述预设尺寸，得到调整后的多张待修复样本图像；
对调整后的多张待修复样本图像进行低分辨率修复，得到多张待增强样本图像。
5.根据权利要求4所述的画质增强方法，其特征在于，所述对调整后的多张待修复样本图像进行低分辨率修复，得到多张待增强样本图像的步骤包括：
基于预先训练好的低分辨率修复模型，对调整后的各待修复样本图像进行低分辨率修复，得到多张待增强样本图像。
6.根据权利要求2所述的画质增强方法，其特征在于，所述卷积神经网络包括画质增强子网络及超分辨率重建子网络，所述利用多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像对预先构建的卷积神经网络进行训练的步骤包括：
将多张所述高分辨率图像、多张所述待修复样本图像及多张所述待增强样本图像输入所述画质增强子网络；
利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述画质增强子网络对各所述待增强样本图像进行画质增强，得到多个第一输出图像；
基于所述超分辨率重建子网络对各所述第一输出图像进行超分辨率重建，得到多个第二输出图像；
根据所述第二输出图像和所述高分辨率图像，基于预设损失函数，通过反向传播算法对所述画质增强子网络及超分辨率重建子网络的权值进行调整，直至所述预设损失函数的输出小于预设阈值。
7.根据权利要求6所述的画质增强方法，其特征在于，所述画质增强子网络包括深度引导滤波层及多个残差块，所述利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述画质增强子网络对各所述待增强样本图像进行画质增强，得到多个第一输出图像的步骤包括：
利用多张所述高分辨率图像、多张所述待修复样本图像，基于所述深度引导滤波层对所述待增强样本图像进行画质重构处理，得到多个画质重构样本图像；
按预设的通道合并算法，合并各所述画质重构样本图像与所述高分辨率图像的处理通道；
通过所述多个残差块对合并处理通道后的所述画质重构样本图像及所述高分辨率图像进行逆退化处理，得到多个第一输出图像。
8.一种画质增强装置，其特征在于，包括：
尺寸处理模块，用于获取原始待修复图像，将所述原始待修复图像的分辨率调整至预设尺寸，得到调整后的原始待修复图像；
低分辨率修复模块，用于对调整后的原始待修复图像进行低分辨率修复，得到待增强图像；
画质增强模块，用于基于预先训练完成的画质增强模型，对所述待增强图像进行画质增强处理，获得画质增强后的结果图像。
9.一种电子设备，其特征在于，所述设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任意一项所述的画质增强方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任一项所述的画质增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010106367.7A CN111325692B (zh) | 2020-02-21 | 2020-02-21 | 画质增强方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010106367.7A CN111325692B (zh) | 2020-02-21 | 2020-02-21 | 画质增强方法、装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325692A true CN111325692A (zh) | 2020-06-23 |
| CN111325692B CN111325692B (zh) | 2023-06-13 |
Family
ID=71172942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010106367.7A Active CN111325692B (zh) | 2020-02-21 | 2020-02-21 | 画质增强方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325692B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297937A (zh) * | 2021-05-17 | 2021-08-24 | 杭州朗和科技有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113592733A (zh) * | 2021-07-22 | 2021-11-02 | 北京小米移动软件有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US20220101493A1 (en) * | 2020-09-30 | 2022-03-31 | Canon Kabushiki Kaisha | Image processing method, storage medium, image processing apparatus, trained model producing method, learning method, learning apparatus, and image processing system |
| CN116188346A (zh) * | 2023-05-04 | 2023-05-30 | 安翰科技(武汉)股份有限公司 | 内窥镜图像的画质增强方法及装置 |
| CN116309160A (zh) * | 2023-03-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 图像分辨率修复方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
| CN109978764A (zh) * | 2019-03-11 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
| CN110728637A (zh) * | 2019-09-21 | 2020-01-24 | 天津大学 | 基于深度学习的用于图像处理的动态调光背光扩散方法 |
| CN110740350A (zh) * | 2019-10-31 | 2020-01-31 | 北京金山云网络技术有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
-
2020
- 2020-02-21 CN CN202010106367.7A patent/CN111325692B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
| CN109978764A (zh) * | 2019-03-11 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110728637A (zh) * | 2019-09-21 | 2020-01-24 | 天津大学 | 基于深度学习的用于图像处理的动态调光背光扩散方法 |
| CN110705699A (zh) * | 2019-10-18 | 2020-01-17 | 厦门美图之家科技有限公司 | 超分辨率重建方法、装置、电子设备和可读存储介质 |
| CN110740350A (zh) * | 2019-10-31 | 2020-01-31 | 北京金山云网络技术有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 闵雷;杨平;许冰;刘永;: "变分贝叶斯框架中的多帧图像盲超分辨" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220101493A1 (en) * | 2020-09-30 | 2022-03-31 | Canon Kabushiki Kaisha | Image processing method, storage medium, image processing apparatus, trained model producing method, learning method, learning apparatus, and image processing system |
| US11948273B2 (en) * | 2020-09-30 | 2024-04-02 | Canon Kabushiki Kaisha | Image processing method, storage medium, image processing apparatus, trained model producing method, learning method, learning apparatus, and image processing system |
| CN113297937A (zh) * | 2021-05-17 | 2021-08-24 | 杭州朗和科技有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113297937B (zh) * | 2021-05-17 | 2023-12-15 | 杭州网易智企科技有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113592733A (zh) * | 2021-07-22 | 2021-11-02 | 北京小米移动软件有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN116309160A (zh) * | 2023-03-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 图像分辨率修复方法、装置、设备及存储介质 |
| CN116309160B (zh) * | 2023-03-10 | 2024-04-12 | 北京百度网讯科技有限公司 | 图像分辨率修复方法、装置、设备及存储介质 |
| CN116188346A (zh) * | 2023-05-04 | 2023-05-30 | 安翰科技(武汉)股份有限公司 | 内窥镜图像的画质增强方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325692B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Designing a practical degradation model for deep blind image super-resolution | |
| CN111325692A (zh) | 画质增强方法、装置、电子设备和可读存储介质 | |
| Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
| Sun et al. | Learned image downscaling for upscaling using content adaptive resampler | |
| CN110705699B (zh) | 超分辨率重建方法、装置、电子设备和可读存储介质 | |
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| WO2022110638A1 (zh) | 人像修复方法、装置、电子设备、存储介质和程序产品 | |
| US20130301933A1 (en) | Method and device for generating a super-resolution version of a low resolution input data structure | |
| RU2706891C1 (ru) | Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями | |
| CN107492077B (zh) | 基于自适应多方向总变分的图像去模糊方法 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| Liang et al. | Improved non-local iterative back-projection method for image super-resolution | |
| CN116051428B (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
| Jakhetiya et al. | Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework | |
| CN111242860A (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
| Chang et al. | Beyond camera motion blur removing: How to handle outliers in deblurring | |
| EP2948920A1 (en) | Method and apparatus for performing single-image super-resolution | |
| CN112001940B (zh) | 图像处理方法及装置、终端及可读存储介质 | |
| CN111724448A (zh) | 一种图像超分辨重建方法、装置和终端设备 | |
| CN113298740A (zh) | 一种图像增强方法、装置、终端设备及存储介质 | |
| CN111416937B (zh) | 图像处理方法、装置、存储介质及移动设备 | |
| Panda et al. | An efficient image interpolation using edge-error based sharpening | |
| RU2661537C2 (ru) | Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации | |
| Noor et al. | Multi-frame super resolution with deep residual learning on flow registered non-integer pixel images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |