CN114549328A - Jpg图像超分辨率恢复方法、计算机可读存储介质及终端 - Google Patents

Jpg图像超分辨率恢复方法、计算机可读存储介质及终端 Download PDF

Info

Publication number
CN114549328A
CN114549328A CN202210448558.0A CN202210448558A CN114549328A CN 114549328 A CN114549328 A CN 114549328A CN 202210448558 A CN202210448558 A CN 202210448558A CN 114549328 A CN114549328 A CN 114549328A
Authority
CN
China
Prior art keywords
image
neural network
substances
convolutional neural
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210448558.0A
Other languages
English (en)
Other versions
CN114549328B (zh
Inventor
李彪
石勇
寇纲
张影飞
彭怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwestern University Of Finance And Economics
Original Assignee
Southwestern University Of Finance And Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwestern University Of Finance And Economics filed Critical Southwestern University Of Finance And Economics
Priority to CN202210448558.0A priority Critical patent/CN114549328B/zh
Publication of CN114549328A publication Critical patent/CN114549328A/zh
Application granted granted Critical
Publication of CN114549328B publication Critical patent/CN114549328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的JPG图像超分辨率恢复方法，其特征在于，JPG图像超分辨率恢复方法步骤包括，S1）图像噪声处理阶段，采用轻量化的卷积神经网络1得到JPG压缩信息恢复的去噪图像；S2）图像高精准度恢复阶段，采用卷积神经网络2得到目标图像
Figure 623112DEST_PATH_IMAGE001
；S3）图像高感知度恢复阶段，采用卷积神经网络3得到目标图像
Figure 617613DEST_PATH_IMAGE002
；其中，卷积神经网络1、卷积神经网络2、卷积神经网络3分别为不同的卷积神经网络。本发明JPG图像超分辨率恢复方法、计算机可读存储介质及终端，对数据的特点进行分析，基于使用目的，构建出相应的高精准度，可实现的端到端深度学习模型。另外，引入了精准度和感知度的权重比，可以提供更好的高像素图片。

Description

JPG图像超分辨率恢复方法、计算机可读存储介质及终端
技术领域
本发明属于计算视觉技术领域，涉及图像超分辨率技术，具体涉及JPG图像超分辨率恢复方法、计算机可读存储介质及终端。
背景技术
人工智能已经成为当前社会发展的最热点。目前，智能技术的发展主要集中在非结构化数据相关的图像任务和自然语言处理。知识图谱可以为多种不同数据提供统一的平台，进一步为多种不同数据数据类型的智能任务提供数据分析基础。图像、语音识别当前主要是利用深度模型学习拟合非结构化图像、语音和文本数据的分布。受限于客观环境，数据的质量存在着很大的差异，如何更好的处理这些数据信息对模型的结果有着举足轻重的影响。如何提高图像数据的像素信息，构建高效素的目标图像也是至关重要的。
作为热门的计算机视觉初级任务之一，超分辨率任务一直是学界和业界研究的热点。当前的研究主要在两个方面：如何提高生成图像的精准度（评价指标峰值信噪比PSNR和结构相似性SSIM）和如何提高图像的感知效果（图像相似度度量LPIPS）。像素的生成模型绝大多数都是与深度学习相关，相比于传统方法，应用深度学习方法取得了飞速的进步。
设备获取高分辨率图像只能针对新的图像数据，对于已有的图像数据，尤其是很久之前的照片，新设备是无法对旧照片进行高分辨率处理的。对于一些珍贵的旧图像数据，数据极其有意义，这就使得对图像的高分辨率处理具有很高的价值。另外，大多获取高清图像的设备的价格往往都比较昂贵，对很多使用单位来说，其使用成本过高。目前，研究的模型大都是基于理想状态的标准数据集，与现实中的多样的图像存在着很大的差异。另外，对于广泛使用的JPG压缩图像数据，传统超分模型的表现大都不能取得满意效果。
发明内容
为解决上述现有技术问题，本发明提供JPG图像超分辨率恢复方法、计算机可读存储介质及终端。
为了实现上述目的，本发明采用的技术方案是：
JPG图像超分辨率恢复方法，其特征在于，JPG图像超分辨率恢复方法步骤包括，
S1）：图像噪声处理阶段，采用轻量化的卷积神经网络1得到JPG压缩信息恢复的去噪图像；
S2）：图像高精准度恢复阶段，采用卷积神经网络2得到目标图像
Figure 866079DEST_PATH_IMAGE001
；
S3）：图像高感知度恢复阶段，采用卷积神经网络3得到目标图像
Figure 850215DEST_PATH_IMAGE002
；
其中，卷积神经网络1、卷积神经网络2、卷积神经网络3分别为不同的卷积神经网络。
优选的，卷积神经网络1的输入图像A1为JPG压缩图像；
卷积神经网络1的输出图像B1为压缩信息部分被恢复的去噪图像；
其中，所述JPG压缩图像是在1倍无损图像基础上通过不同的压缩比压缩得到的图像。
优选的，卷积神经网络1的损失函数为
Figure 507593DEST_PATH_IMAGE003
，
Figure 551772DEST_PATH_IMAGE004
（1）
其中，W，H分别表示图像的宽度与高度，w与h分别表示每个像素在宽和高上的信息；
其中，
Figure 419234DEST_PATH_IMAGE005
表示真实的图像信息和模型恢复的压缩图像在像素层级的差值；
其中，
Figure 207062DEST_PATH_IMAGE006
表示没有损失的小尺寸图像；
其中，
Figure 968213DEST_PATH_IMAGE007
表示压缩后有损失的小尺寸JPG图像；
其中，
Figure 980031DEST_PATH_IMAGE008
表示恢复信息的参数表征模型。
优选的，卷积神经网络2的输入图像A2为输出图像B1；
卷积神经网络2的输出图像B2为对应s倍尺寸的目标图像
Figure 678997DEST_PATH_IMAGE009
；
其中，s倍尺寸表示目标图像
Figure 270515DEST_PATH_IMAGE010
的宽度和高度分别是输入图像A2的宽度和高度的s倍；
其中，输入数据的信息被充分的提取和传递，从低维度信息逐步转变为高维度信息，高维度信息通过上采样层获得对应s倍尺寸的目标图像
Figure 761540DEST_PATH_IMAGE011
。
优选的，卷积神经网络2的损失函数为，
Figure 68893DEST_PATH_IMAGE012
（2）
其中，目标图像
Figure 848630DEST_PATH_IMAGE013
为s倍尺寸的中间信息；
其中，
Figure 40577DEST_PATH_IMAGE014
为要恢复的大尺寸图像。
优选的，卷积神经网络3的输入图像A3为目标图像
Figure 995895DEST_PATH_IMAGE015
；
卷积神经网络3的输出图像B3为对应2s倍尺寸的目标图像
Figure 818357DEST_PATH_IMAGE016
；
其中，2s倍尺寸表示目标图像
Figure 616549DEST_PATH_IMAGE017
的宽度和高度分别是输入图像A2的宽度和高度的2s倍；
其中，输入数据的信息被充分的提取和传递，从低维度信息逐步转变为高维度信息，高维度信息通过上采样层获得对应2s倍尺寸的目标图像
Figure 471241DEST_PATH_IMAGE018
。
优选的，卷积神经网络3的损失函数
Figure 671279DEST_PATH_IMAGE019
包括：L1范数损失函数、感知损失函数、生成对抗网络损失函数；
将S3）的模型作为GAN的生成网络，与设定的判别网络联合训练，组成模型的基本框架；
Figure 664642DEST_PATH_IMAGE020
（3）
其中，
Figure 825496DEST_PATH_IMAGE021
分别表示超参数；
其中，
Figure 359246DEST_PATH_IMAGE022
为L1范数损失函数；
其中，
Figure 617052DEST_PATH_IMAGE023
为感知损失函数；
其中，
Figure 437109DEST_PATH_IMAGE024
为生成对抗网络损失函数。
优选的，生成对抗网络损失函数为
Figure 475473DEST_PATH_IMAGE025
，
Figure 750596DEST_PATH_IMAGE026
（4）
其中，x表示原始数据；
其中，z表示随机生成的隐藏向量；
其中，
Figure 535012DEST_PATH_IMAGE027
表示目标函数；
其中，
Figure 932496DEST_PATH_IMAGE028
表示真实输入图形；
其中，
Figure 130259DEST_PATH_IMAGE029
表示标准分布；
其中，E表示分布函数的期望值；
其中，
Figure 136304DEST_PATH_IMAGE030
表示生成数据；
其中，
Figure 431019DEST_PATH_IMAGE031
表示判别器判断出为真实输入图形
Figure 343612DEST_PATH_IMAGE032
的概率；
其中，
Figure 294250DEST_PATH_IMAGE033
表示基于标准分布
Figure 707914DEST_PATH_IMAGE034
的模型生成结果。
优选的，感知损失函数为；
Figure 981769DEST_PATH_IMAGE035
（5）
其中，j表示网络的第j层；
其中，
Figure 393159DEST_PATH_IMAGE036
表示第j层的特征映射的尺寸；
其中，
Figure 34356DEST_PATH_IMAGE037
表示第j卷积层的特征图；
其中，
Figure 251711DEST_PATH_IMAGE038
表示得到的图像与原来的HR图像之间的差值；
其中，C表示特征的层数；
其中，H表示图像高度；
其中，W表示图像宽度；
其中，y表示表征信息；
Figure 114493DEST_PATH_IMAGE039
(6)
其中，
Figure 962364DEST_PATH_IMAGE040
表示目标参考图像。
计算机可读存储介质，其特征在于，包括，
用于存储JPG图像的超分辨率模型。
一种终端，其特征在于，包括：
存储器；
处理器；
其中，所述存储器用于存储可执行程序代码；
其中，所述处理器与所述存储器耦合；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行JPG图像的超分辨率模型。
本发明的有益效果体现在，提供JPG图像超分辨率恢复方法、计算机可读存储介质及终端。图像数据是知识图谱涉及的重要数据，由于其非结构的数据特性，如何处理图像数据是知识图谱的重要任务之一。对图像而言，像素是各种任务和需求的基本要素，有限的像素值会约束图像的进一步处理空间。本发明的目的是为了解决有限条件下高像素图片的获取问题，进一步为其他决策任务或者应用目的服务。基于高精准度和高感知度两个不同的目的，设置不同的神经网络模型。通过模型的相互组合匹配，可以为不同的目的匹配出最适合的高像素值图像。通过本发明的模型，可以在需求和有限的硬件条件获得较好的平衡，进一步提高有限条件下图像数据的信息量和应用范围。
附图说明
图1-图5为本发明实施例，
图1示出了JPG图像的超分辨率模型方案图；
图2示出了无损图像与不同压缩比例的JPG压缩图像；
图3示出了卷积神经网络（CNN）的基本流程图；
图4示出了JPG图像的超分辨率模型整体流程图，其中CNN1为S1)阶段，其中CNN2为S2)阶段，其中CNN3为S3)阶段；
图5示出了生成对抗网络（GAN）流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图5所示，本发明提供的具体实施例如下：
实施例1：
JPG图像超分辨率恢复方法，其特征在于，JPG图像超分辨率恢复方法步骤包括，
S1）：图像噪声处理阶段，采用轻量化的卷积神经网络1得到JPG压缩信息恢复的去噪图像；
S2）：图像高精准度恢复阶段，采用卷积神经网络2得到目标图像
Figure 684332DEST_PATH_IMAGE041
；
S3）：图像高感知度恢复阶段，采用卷积神经网络3得到目标图像
Figure 643061DEST_PATH_IMAGE042
；
其中，卷积神经网络1、卷积神经网络2、卷积神经网络3分别为不同的卷积神经网络。
在这个网络时代，图片的存储主要是以JPG格式为主，可以用较少的磁盘空间得到较好的图像品质，这种格式的图片可以在最大程度上保留人的视觉感受，同时大幅的压缩图片的存储空间。互联网时代，海量图像数据占用了大量的存储空间和传输的带宽，因此，JPG这种可以压缩图像大小，同时保留大部分视觉感受的格式成为了主流。同时，目前主流的超分辨率模型大都是基于理想状态下的训练数据集预训练完成的，与现实中多种多样的图像存在着很大的差异，部分现实照片数据的处理也大多考虑的是感光元件带来的差异性，根本不适用于JPG图像的超分任务。这是因为超分模型不能将JPG压缩过程产生的棋盘噪声识别出来，将棋盘噪声默认为图像的信息，在超分的过程中会放大棋盘噪声的视觉。设备只能针对新的图像数据获取高分辨率图像，对于已有的图像数据，尤其是很久之前的照片，新设备是无法处理的。另外，获取高清图像的设备价格往往都极其昂贵，对很多需要使用设备的单位来说，其使用成本过高。在有限的硬件条件下获取高像素图片是非常具有实用价值的。
在本实施例中，如图1所示为本发明的实施方式之一。为了解决有限条件下高像素图片的获取问题，进一步为其他决策任务或者应用目的服务。基于高精准度和高感知度两个不同的目的，设置不同的神经网络模型。通过模型的相互组合匹配，可以为不同的目的匹配出最适合的高像素值图像。通过本发明的模型，可以在需求和有限的硬件条件获得较好的平衡，进一步提高有限条件下图像数据的信息量和应用范围。
实施例2：
卷积神经网络1的输入图像A1为JPG压缩图像；
卷积神经网络1的输出图像B1为压缩信息部分被恢复的去噪图像；
其中，所述JPG压缩图像是在1倍无损图像基础上通过不同的压缩比压缩得到的图像。
卷积神经网络1的损失函数为
Figure 642241DEST_PATH_IMAGE043
，
Figure 661012DEST_PATH_IMAGE044
（1）
其中，W，H分别表示图像的宽度与高度，w与h分别表示每个像素在宽和高上的信息；
其中，
Figure 339118DEST_PATH_IMAGE045
表示真实的图像信息和模型恢复的压缩图像在像素层级的差值；
其中，
Figure 288489DEST_PATH_IMAGE046
表示没有损失的小尺寸图像，其中的像素信息是完整的，可以作为监督信息使用；
其中，
Figure 204492DEST_PATH_IMAGE047
表示压缩后有损失的小尺寸JPG图像，其中的像素信息因为压缩产生了大量的丢失；
其中，
Figure 456482DEST_PATH_IMAGE048
表示恢复信息的参数表征模型。
在本实施例中，如图2所示，输入的JPG压缩图像是在无损的1倍（1X）图像基础上通过JPG压缩（多个不同的压缩比）得到的输入图像。图2左上角图片无损城镇图像，图2（a）表示无损城镇图像方框选出的无损图片，图2中（b）、（c）、（d）、（e）表示将图2（a）经过不同压缩比例压缩后得到的保留不同图像质量的C-JPG图像。例如，图（b）图表示（a）被压缩后保留80%质量的图像。卷积神经网络流程图如3所示，训练数据训练得到需要的训练模型，再将训练模型用来恢复得到去噪图像。输入图像经过多层的卷积神经网络，信息得到充分的学习和提取，得到了压缩信息部分恢复的去噪图像（1X）。这个阶段，损失函数设定为JPG压缩图像和无损的1X图像的L1范数。经过S1）阶段的学习，带有棋盘噪声的JPG图像可以最大程度的去除掉噪声信息，丢失的细节信息可以部分恢复，满足现实图像超分的下一步要求。
实施例3：
卷积神经网络2的输入图像A2为输出图像B1；
卷积神经网络2的输出图像B2为对应s倍尺寸的目标图像
Figure 90725DEST_PATH_IMAGE049
；
其中，s倍尺寸表示目标图像
Figure 328940DEST_PATH_IMAGE050
的宽度和高度分别是输入图像A2的宽度和高度的s倍；
其中，输入数据的信息被充分的提取和传递，从低维度信息逐步转变为高维度信息，高维度信息通过上采样层获得对应s倍尺寸的目标图像
Figure 99450DEST_PATH_IMAGE051
。
卷积神经网络2的损失函数为，
Figure 522341DEST_PATH_IMAGE052
（2）
其中，目标图像
Figure 378301DEST_PATH_IMAGE053
为s倍尺寸的中间信息；
其中，
Figure 669474DEST_PATH_IMAGE054
为要恢复的大尺寸图像。
输入的压缩JPG图像经过了S1）阶段的去噪处理，得到了满足使用要求的原始尺寸图像，S1）阶段输出的数据作为S2)阶段的输入数据，进行下一步的超分操作。以总体4倍尺寸为例，S2)阶段只对应2倍尺寸放大要求。通常来说，传统的超分辨率模型以L1范数（绝对值）或L2范数（元素的平方根）为损失函数，衡量图像对应像素值的差异性，也就是通常所说的高精准度模型。
在本实施例中，重点在如何恢复高精准的超分图像，具体如下：S1）阶段的输出作为本阶段的输入图像，从RGB三通道经过卷积神经网络2，通过大量的卷机操作、激活函数（Leaky-ReLU）、局部残差模块等操作，输入数据的信息被充分的提取和传递，从低维度的信息逐步转变为高维度的信息。以得到n层信息为例，n层信息通过一层的卷积操作，得到了目标放大倍数s的
Figure 560070DEST_PATH_IMAGE055
层信息。在多层信息的基础上，通过像素的差值操作，获得了对应s倍尺寸的目标图像
Figure 888283DEST_PATH_IMAGE056
。得到的
Figure 169223DEST_PATH_IMAGE057
和监督图像下采样（Bicubic）到该阶段对应尺寸的图像
Figure 811557DEST_PATH_IMAGE014
构成了训练数据对。
经过S2）阶段的训练，去噪的原始图像完成了初步的s倍超分放大。最终得到的图像数据可以作为中间数据输出，满足高精准度要求的超分任务，这一部分的评价指标主要是峰值信噪比（PSNR）。
实施例4：
卷积神经网络3的输入图像A3为目标图像
Figure 618976DEST_PATH_IMAGE058
；
卷积神经网络3的输出图像B3为对应2s倍尺寸的目标图像
Figure 242724DEST_PATH_IMAGE018
；
其中，2s倍尺寸表示目标图像
Figure 73277DEST_PATH_IMAGE018
的宽度和高度分别是输入图像A2的宽度和高度的2s倍；
其中，输入数据的信息被充分的提取和传递，从低维度信息逐步转变为高维度信息，高维度信息通过上采样层获得对应2s倍尺寸的目标图像
Figure 581619DEST_PATH_IMAGE059
。
卷积神经网络3的损失函数
Figure 118910DEST_PATH_IMAGE060
包括：L1范数损失函数、感知损失函数、生成对抗网络损失函数；
将S3）的模型作为GAN的生成网络，与设定的判别网络联合训练，组成模型的基本框架；
Figure 992188DEST_PATH_IMAGE061
（3）
其中，
Figure 841196DEST_PATH_IMAGE062
分别表示超参数；
其中，
Figure 277862DEST_PATH_IMAGE063
为L1范数损失函数；
其中，
Figure 794294DEST_PATH_IMAGE064
为感知损失函数；
其中，
Figure 838473DEST_PATH_IMAGE065
为生成对抗网络损失函数。
经过S2)阶段的处理，输入图像A2已经得到了初步的s倍的尺寸放大。像素值变为输入数据的
Figure 315722DEST_PATH_IMAGE066
倍。通过S1)阶段的去噪模型和S2)阶段的高精准度恢复模型后，得到的目标图像
Figure 900287DEST_PATH_IMAGE067
数据是干净、像素值比较一致的，但这样的图像存在的一个问题：细节部分过度的平滑，整体会给人带来不真实的视觉感受。
在本实施例中，为了进一步的增加图像的细节信息，S3）阶段引入了感知损失，具体如下：以S2)阶段得到的s倍尺寸的
Figure 474488DEST_PATH_IMAGE058
作为S3）阶段的输入数据，从RGB三通道经过卷积神经网络3，通过大量的卷机操作、激活函数（Leaky-ReLU）、局部残差模块等操作，输入数据的信息被充分的提取和传递，从低维度的信息逐步转变为高维度的信息。这里需要指出的是，因为图像尺寸的扩大，对模型参数的需求和计算量的消耗会变大，因此，模型的具体构造会和前两阶段的模型有着差异性。得到的信息经过转化，上采样（PixelShuffle）操作，得到了最终的2s倍尺寸的放大图像
Figure 610940DEST_PATH_IMAGE017
。以总体放大2s倍尺寸为例，JPG图像的超分辨率模型整体流程图如图4所示，小尺寸图像（W´H）经过超分辨率模型变成大尺寸图像（2sW´2sH），该阶段最终模型的损失函数包括了：L1范数损失函数、感知损失函数、生成对抗网络损失函数。计算最终得到的图像与原来的HR图像之间的绝对值差异，即L1范数损失。对每部分都设定特定的超参数，以平衡不同损失带来的影响。经过了三个阶段得到的最终模型，可以从原始尺寸的输入图像（W´H）获取超分辨率图像（2sW´2sH），整体的图像像素值增加了
Figure 965698DEST_PATH_IMAGE068
倍。与此同时，可以根据目的的不同，调整损失函数的权重，获取s倍图像或者2s倍的高精准度图像。这对于知识图谱中图像数据的不足可以起到很好的弥补作用。
实施例5：
生成对抗网络损失函数为
Figure 291637DEST_PATH_IMAGE065
，
Figure 658028DEST_PATH_IMAGE069
（4）
其中，x表示原始数据；
其中，z表示随机生成的隐藏向量；
其中，
Figure 106327DEST_PATH_IMAGE027
表示目标函数；
其中，
Figure 559434DEST_PATH_IMAGE028
表示真实输入图形；
其中，
Figure 689064DEST_PATH_IMAGE029
表示标准分布；
其中，E表示分布函数的期望值；
其中，
Figure 34595DEST_PATH_IMAGE070
表示生成数据；
其中，
Figure 529161DEST_PATH_IMAGE071
表示判别器判断出为真实输入图形
Figure 530615DEST_PATH_IMAGE072
的概率；
其中，
Figure 260674DEST_PATH_IMAGE073
表示基于标准分布
Figure 850924DEST_PATH_IMAGE074
的模型生成结果。
在本实施例中，将S3）阶段的模型作为GAN的生成网络，与设定的判别网络联合训练，组成模型的基本框架，整个GAN模型的训练基于标准GAN的损失函数。生成对抗网络原理图如图5所示，由生成器和判别器所构成。生成器接收一个随机噪声信号，然后生成器生成相应的假图。判别器会接收生成器生成的假图和来自真实样本的样例，判别器的作用主要就是判断样本的真实度，给真实样本尽可然大的概率，给生成样本尽可然小的值（概率越大表示越有可能是真实的样例）。而生成器则不断加强自己的能力，使生成的样本越来越接近真实的样本，即判别器越来越分辨不出来样本是不是真实的。通过不断迭代上述过程，直至判别器区分不清楚接收的样本到底是来自真实样本还是来自生成的样本，最终得到一个真正擅长生成类似于目标样本的样本的生成器。
实施例6：
感知损失函数为；
Figure 578709DEST_PATH_IMAGE075
（5）
其中，j表示网络的第j层；
其中，
Figure 864197DEST_PATH_IMAGE076
表示第j层的特征映射的尺寸；
其中，
Figure 273312DEST_PATH_IMAGE037
表示第j卷积层的特征图；
其中，
Figure 593435DEST_PATH_IMAGE077
表示得到的图像与原来的HR图像之间的差值；
其中，C表示特征的层数；
其中，H表示图像高度；
其中，W表示图像宽度；
其中，y表示表征信息；
Figure 492121DEST_PATH_IMAGE039
(6)
其中，
Figure 655118DEST_PATH_IMAGE078
表示目标参考图像。
在本实施例中，得到的
Figure 930242DEST_PATH_IMAGE079
倍放大的目标图像
Figure 839292DEST_PATH_IMAGE080
和监督信息的原始图（HR）作为输入信息，通过预训练好的VGG19模型，提取中间选定的几层的表征信息，通过计算重建图像与原始图（HR）的表征信息之间的欧几里得距离，得到感知损失。感知损失将卷积神经网络提取出的特征映射，作为目标函数的一部分，通过比较待生成的图片的卷积特征输出与目标图片的卷积特征输出，计算相对于像素级别的损失函数，将低分辨率的图像输入进去，可以得到高分辨率的图像。而且由于只进行一次网络的前向计算，速度非常快，可以达到实时的效果。最终得到的图像与原来的HR图像还要计算他们之间的绝对值差异，即L1范数损失函数。
计算机可读存储介质，其特征在于，包括，
用于存储所述的JPG图像的超分辨率模型。
一种终端，其特征在于，包括：
存储器；
处理器；
其中，所述存储器用于存储可执行程序代码；
其中，所述处理器与所述存储器耦合；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行所述的JPG图像的超分辨率模型。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“~”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A~B''表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (11)

1.JPG图像超分辨率恢复方法，其特征在于，JPG图像超分辨率恢复方法步骤包括，
S1）图像噪声处理阶段，采用轻量化的卷积神经网络1得到JPG压缩信息恢复的去噪图像；
S2）图像高精准度恢复阶段，采用卷积神经网络2得到目标图像
Figure 53441DEST_PATH_IMAGE001
；
S3）图像高感知度恢复阶段，采用卷积神经网络3得到目标图像
Figure 390882DEST_PATH_IMAGE002
；
其中，卷积神经网络1、卷积神经网络2、卷积神经网络3分别为不同的卷积神经网络。
2.根据权利要求1所述的JPG图像超分辨率恢复方法，其特征在于，方法步骤S1）中，
卷积神经网络1的输入图像A1为JPG压缩图像；
卷积神经网络1的输出图像B1为压缩信息部分被恢复的去噪图像；
其中，所述JPG压缩图像是在1倍无损图像基础上通过不同的压缩比压缩得到的图像。
3.根据权利要求2所述的JPG图像超分辨率恢复方法，其特征在于，方法步骤S1）中，
卷积神经网络1的损失函数为
Figure 768773DEST_PATH_IMAGE003
，
Figure 25311DEST_PATH_IMAGE004
（1）
其中，W，H分别表示图像的宽度与高度，w与h分别表示每个像素在宽和高上的信息；
其中，
Figure 488653DEST_PATH_IMAGE005
表示真实的图像信息和模型恢复的压缩图像在像素层级的差值；
其中，
Figure 364206DEST_PATH_IMAGE006
表示没有损失的小尺寸图像；
其中，
Figure 596604DEST_PATH_IMAGE007
表示压缩后有损失的小尺寸JPG图像；
其中，
Figure 509196DEST_PATH_IMAGE008
表示恢复信息的参数表征模型。
4.根据权利要求3所述的JPG图像超分辨率恢复方法，其特征在于，方法步骤S2）中，
卷积神经网络2的输入图像A2为输出图像B1；
卷积神经网络2的输出图像B2为对应s倍尺寸的目标图像
Figure 522152DEST_PATH_IMAGE009
；
其中，s倍尺寸表示目标图像
Figure 139078DEST_PATH_IMAGE010
的宽度和高度分别是输入图像A2的宽度和高度的s倍；
其中，输入数据的信息被充分的提取和传递，从低维度信息逐步转变为高维度信息，高维度信息通过上采样层获得对应s倍尺寸的目标图像
Figure 412933DEST_PATH_IMAGE011
。
5.根据权利要求4所述的JPG图像超分辨率恢复方法，其特征在于，方法步骤S2）中，
卷积神经网络2的损失函数为，
Figure 89902DEST_PATH_IMAGE012
（2）
其中，目标图像
Figure 324574DEST_PATH_IMAGE013
为s倍尺寸的中间信息；
其中，
Figure 479612DEST_PATH_IMAGE014
为要恢复的大尺寸图像。
6.根据权利要求5所述的JPG图像超分辨率恢复方法，其特征在于，方法步骤S3）中，
卷积神经网络3的输入图像A3为目标图像
Figure 358706DEST_PATH_IMAGE015
；
卷积神经网络3的输出图像B3为对应2s倍尺寸的目标图像
Figure 3314DEST_PATH_IMAGE016
；
其中，2s倍尺寸表示目标图像
Figure 662966DEST_PATH_IMAGE017
的宽度和高度分别是输入图像A2的宽度和高度的2s倍；
其中，输入数据的信息被充分的提取和传递，从低维度信息逐步转变为高维度信息，高维度信息通过上采样层获得对应2s倍尺寸的目标图像
Figure 808645DEST_PATH_IMAGE018
。
7.根据权利要求6所述的JPG图像超分辨率恢复方法，其特征在于，方法步骤S3）中，
卷积神经网络3的损失函数
Figure 870142DEST_PATH_IMAGE019
包括：L1范数损失函数、感知损失函数、生成对抗网络损失函数；
将S3）的模型作为GAN的生成网络，与设定的判别网络联合训练，组成模型的基本框架；
Figure 951231DEST_PATH_IMAGE020
（3）
其中，
Figure 98178DEST_PATH_IMAGE021
分别表示超参数；
其中，
Figure 532702DEST_PATH_IMAGE022
为L1范数损失函数；
其中，
Figure 448705DEST_PATH_IMAGE023
为感知损失函数；
其中，
Figure 700695DEST_PATH_IMAGE024
为生成对抗网络损失函数。
8.根据权利要求7所述的JPG图像超分辨率恢复方法，其特征在于，方法步骤S3）中，
生成对抗网络损失函数为
Figure 334939DEST_PATH_IMAGE024
，
Figure 822421DEST_PATH_IMAGE025
（4）
其中，x表示原始数据；
其中，z表示随机生成的隐藏向量；
其中，
Figure 389668DEST_PATH_IMAGE026
表示目标函数；
其中，
Figure 750242DEST_PATH_IMAGE027
表示真实输入图形；
其中，
Figure 809465DEST_PATH_IMAGE028
表示标准分布；
其中，E表示分布函数的期望值；
其中，
Figure 648108DEST_PATH_IMAGE029
表示生成数据；
其中，
Figure 601021DEST_PATH_IMAGE030
表示判别器判断出为真实输入图形
Figure 132496DEST_PATH_IMAGE031
的概率；
其中，
Figure 668563DEST_PATH_IMAGE032
表示基于标准分布
Figure 576476DEST_PATH_IMAGE033
的模型生成结果。
9.根据权利要求8所述的JPG图像超分辨率恢复方法，其特征在于，
感知损失函数为；
Figure 383895DEST_PATH_IMAGE034
（5）
其中，j表示网络的第j层；
其中，
Figure 86272DEST_PATH_IMAGE035
表示第j层的特征映射的尺寸；
其中，
Figure 854508DEST_PATH_IMAGE036
表示第j卷积层的特征图；
其中，
Figure 831691DEST_PATH_IMAGE037
表示得到的图像与原来的HR图像之间的差值；
其中，C表示特征的层数；
其中，W，H分别表示图像的宽度与高度；
其中，y表示表征信息；
Figure 696879DEST_PATH_IMAGE038
(6)
其中，
Figure 757108DEST_PATH_IMAGE039
表示目标参考图像。
10.计算机可读存储介质，其特征在于，包括，
用于存储权利要求1-9之任意一项权利要求所述的JPG图像超分辨率恢复方法。
11.一种终端，其特征在于，包括：
存储器；
处理器；
其中，所述存储器用于存储可执行程序代码；
其中，所述处理器与所述存储器耦合；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-9之任意一项所述的JPG图像超分辨率恢复方法。
CN202210448558.0A 2022-04-24 2022-04-24 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端 Active CN114549328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210448558.0A CN114549328B (zh) 2022-04-24 2022-04-24 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210448558.0A CN114549328B (zh) 2022-04-24 2022-04-24 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端

Publications (2)

Publication Number Publication Date
CN114549328A true CN114549328A (zh) 2022-05-27
CN114549328B CN114549328B (zh) 2022-07-22

Family

ID=81666818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210448558.0A Active CN114549328B (zh) 2022-04-24 2022-04-24 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端

Country Status (1)

Country Link
CN (1) CN114549328B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109102463A (zh) * 2018-08-13 2018-12-28 北京飞搜科技有限公司 一种超分辨率图像重建方法及装置
CN109886135A (zh) * 2019-01-25 2019-06-14 桂林远望智能通信科技有限公司 一种低分辨率人脸识别方法、装置及存储介质
CN110532871A (zh) * 2019-07-24 2019-12-03 华为技术有限公司 图像处理的方法和装置
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
WO2021163844A1 (en) * 2020-02-17 2021-08-26 Intel Corporation Super resolution using convolutional neural network
CN113516601A (zh) * 2021-06-17 2021-10-19 西南大学 基于深度卷积神经网络与压缩感知的图像恢复技术
CN114004750A (zh) * 2020-07-28 2022-02-01 阿里巴巴集团控股有限公司 图像处理方法、装置和系统
CN114170088A (zh) * 2021-12-15 2022-03-11 中山大学 一种基于图结构数据的关系型强化学习系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293707A1 (en) * 2017-04-10 2018-10-11 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN109102463A (zh) * 2018-08-13 2018-12-28 北京飞搜科技有限公司 一种超分辨率图像重建方法及装置
CN109886135A (zh) * 2019-01-25 2019-06-14 桂林远望智能通信科技有限公司 一种低分辨率人脸识别方法、装置及存储介质
CN110532871A (zh) * 2019-07-24 2019-12-03 华为技术有限公司 图像处理的方法和装置
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法
CN110827213A (zh) * 2019-10-11 2020-02-21 西安工程大学 一种基于生成式对抗网络的超分辨率图像修复方法
WO2021163844A1 (en) * 2020-02-17 2021-08-26 Intel Corporation Super resolution using convolutional neural network
CN114004750A (zh) * 2020-07-28 2022-02-01 阿里巴巴集团控股有限公司 图像处理方法、装置和系统
CN113516601A (zh) * 2021-06-17 2021-10-19 西南大学 基于深度卷积神经网络与压缩感知的图像恢复技术
CN114170088A (zh) * 2021-12-15 2022-03-11 中山大学 一种基于图结构数据的关系型强化学习系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI, BIAO: "RGSR: A two-step lossy JPG image super-resolution based on noise reduction", 《NEUROCOMPUTING》 *
YUE, ZJ: "Deep Super-Resolution Network for rPPG Information Recovery and Noncontact Heart Rate Estimation", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT 70》 *
徐正埔: "基于深度学习的单幅空间目标图像超分辨率重建算法研究", 《中国优秀硕士论文电子期刊网》 *

Also Published As

Publication number Publication date
CN114549328B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
WO2021164731A1 (zh) 图像增强方法以及图像增强装置
CN112287940A (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN111192200A (zh) 基于融合注意力机制残差网络的图像超分辨率重建方法
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN112308200A (zh) 神经网络的搜索方法及装置
KR20200140713A (ko) 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN114898284B (zh) 一种基于特征金字塔局部差异注意力机制的人群计数方法
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN115731597A (zh) 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
CN114638768A (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN117391938B (zh) 一种红外图像超分辨率重建方法、系统、设备及终端
Wali et al. Recent Progress in Digital Image Restoration Techniques: A Review
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN114549328B (zh) Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法
CN115936983A (zh) 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant