CN113658046B - 基于特征分离的超分辨率图像生成方法、装置、设备和介质 - Google Patents
基于特征分离的超分辨率图像生成方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113658046B CN113658046B CN202110946412.4A CN202110946412A CN113658046B CN 113658046 B CN113658046 B CN 113658046B CN 202110946412 A CN202110946412 A CN 202110946412A CN 113658046 B CN113658046 B CN 113658046B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- module
- characteristic
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005215 recombination Methods 0.000 claims abstract description 61
- 230000006798 recombination Effects 0.000 claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 21
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征分离的超分辨率图像生成方法、装置、计算机设备和存储介质，该方法包括：获取训练数据集；利用网络模型中的特征提取子网络对训练数据集中的低分辨图像进行特征提取，得到图像特征；利用网络模型中的特征分离与重组子网络对图像特征进行深层特征提取，得到深层特征；利用网络模型中的图像重构子网络对图像特征和深层特征进行特征叠加，得到高分辨率图像；根据高分辨率图像和训练数据集中的低分辨图像对应的清晰图像，优化网络模型的损失函数，得到训练好的网络模型；将待测的图像输入训练好的网络模型，生成超分辨率图像。本发明利用构建的网络模型，能够获得具有较多细节的超分辨率图像，为后续图像处理和应用打下基础。
Description
技术领域
本发明涉及深度学习应用技术领域，具体涉及一种基于特征分离的超分辨率图像生成方法、装置、计算机设备和存储介质。
背景技术
近年来视频监控在全国大中城市普及，并已广泛应用于社会治安防控体系建设中。但是，不可避免的，受到监控画面的分辨率的影响，画面中的部分区域会因为分辨率过低而难以分辨。此外，日常生活中，人们对于图像的质量也有较高的像素要求：希望能够看清楚图像中的细节部分，使到图像的整体感观性好。因此，需要对低分辨率的监控画面进行超分辨率生成，进而获得更具细节信息的图像。
近年来，人工智能领域已经被提到国家重点建设的范围，人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。随着计算机算力的提高，网络训练的难度大大减低，网络预测精度不断提高。深度学习网络的基本特点是模型拟合能力强、信息量大和精度高，能够满足不同行业中不同需求。
对于超分辨率图像的生成，关键的问题是如何对低分辨率的图像进行细节丰富化，以便获得更为详细的信息；另一方面，虽然高算力能够得到高性能的网络模型，获得高精度的恢复图像，但是高算力带来了昂贵的计算成本以及网络难以部署等问题。
发明内容
为了解决上述现有技术的不足，本发明提供了一种基于特征分离的超分辨率图像生成方法、装置、计算机设备和存储介质，该方法利用深度学习网络框架构建网络模型，通过构建网络模型中的特征分离与重组子网络，从而获得低参数量的网络模型，实现了网络模型的轻量化；将获得的低分辨率图像输入训练好的网络模型，生成具有更多细节的超分辨率图像，为后续图像处理和实际应用打下坚实基础。
本发明的第一个目的在于提供一种基于特征分离的超分辨率图像生成方法。
本发明的第二个目的在于提供一种基于特征分离的超分辨率图像生成装置。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于特征分离的超分辨率图像生成方法，所述方法包括：
获取训练数据集；其中，所述训练数据集中的图像对包括低分辨率的图像和对应的清晰图像；
利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征；
利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征；
利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；
根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
进一步的，所述特征分离与重组子网络包括n个特征分离模块、n个特征变换模块以及特征重组模块，n为大于1的正整数；
所述利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征，具体包括：
当i为1时，利用所述特征分离模块i对输入图像进行处理，得到两个特征分量Fi 1和Fi 2；将特征分量Fi 1输入所述特征重组模块，同时将特征分量Fi 2输入特征变换模块 i；利用所述特征变换模块i对所述特征分量Fi 2进行特征变换，得到变换特征i；其中，所述输入图像为所述图像特征；
当i为大于1且小于或等于n的正整数时，利用所述特征分离模块i对输入图像进行处理，得到两个特征分量Fi 1和Fi 2；将特征分量Fi 1输入所述特征重组模块，同时将特征分量Fi 2输入特征变换模块i；利用所述特征变换模块i对所述特征分量Fi 2进行特征变换，得到变换特征i；其中，所述输入图像为变换特征i-1；
利用所述特征重组模块对所有的特征分量Fs 1和变换特征n进行特征重组，得到深层特征；其中，s＝1，2，...，n。
进一步的，所述特征分离模块包括特征分离层和两个卷积层，两个卷积层分别为第一卷积层和第二卷积层，第一卷积层和第二卷积层中的卷积核大小不同；
所述利用所述特征分离模块i对输入图像进行处理，得到两个特征分量Fi 1和Fi 2，具体包括：
利用所述特征分离模块i中的特征分离层将所述输入图像分离为第一特征分量和第二特征分量；
利用所述特征分离模块i中的第一卷积层对第一特征分量进行处理，得到特征分量 Fi 1；
利用所述特征分离模块i中的第二卷积层对第二特征分量进行处理，得到特征分量 Fi 2；
所述特征变换模块包括k个卷积层和k个线性整流层，每个卷积层和每个线性整流层交替连接；其中，k为大于1的正整数；
所述利用所述特征变换模块i对所述特征分量Fi 2进行特征变换，得到变换特征i，具体为：
对特征分量Fi 2，利用所述特征变换模块中的卷积层和线性整流层进行处理，得到变换特征i；
所述特征重组模块包括特征级联操作、卷积层和线性整流层；
所述利用所述特征重组模块对所有的特征分量Fs 1和变换特征n进行特征重组，得到深层特征，具体包括：
利用所述特征重组模块的特征级联操作对变换特征n和所有的特征分量Fs 1进行处理，得到处理后特征；
对所述处理后特征，利用特征重组模块的卷积层和线性整流层进行处理，得到深层特征。
进一步的，所述特征提取子网络包括m个卷积层和m个线性整流层，每个卷积层和每个线性整流层交替连接；其中，m为大于1的正整数；
所述利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征，具体为：
对所述低分辨率的图像，利用所述特征提取子网络中的卷积层和相线性整流层进行处理，得到图像特征。
进一步的，所述图像重构子网络包括特征叠加操作层、上采样操作层和卷积层；
所述利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像，具体包括：
将所述图像特征和所述深层特征输入所述图像重构子网络中的特征叠加操作层，得到叠加后特征；
对所述叠加后特征，利用所述图像重构子网络中的上采样操作层和卷积层进行处理，得到高分辨率图像。
进一步的，所述高分辨率图像为Y0，所述低分辨率的图像对应的训练数据集中的清晰图像为I；
所述根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型，具体包括：
设置损失函数，如下所示：
其中，H与W分别为清晰图像I的高度与宽度，||·||1为L1范数的度量形式；
通过优化所述损失函数，从而实现网络模型的收敛。
进一步的，所述将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像，具体包括：
使用人工交互的方法，获取需要处理的低分辨率图像；
将所述低分辨率图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
进一步的，所述获取训练数据集，具体包括：
获取当前主流的图像数据库；
将所述图像数据库中的清晰图像I输入图像低分辨率生成模型，得到低分辨率的图像；
将所述低分辨率的图像与所述清晰图像I作为训练数据集的图像对，用于模型训练。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于特征分离的超分辨率图像生成装置，所述装置包括：
图像获取模块，用于获取训练数据集；其中，所述训练数据集中的图像对包括低分辨率的图像和对应的清晰图像；
第一特征提取模块，用于利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征；
第二特征提取模块，用于利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征；
特征叠加模块，用于利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；
优化模块，用于根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；
图像重建模块，用于将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的超分辨率图像生成方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的超分辨率图像生成方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明将深度学习网络技术应用到网络模型的构建，用来生成具有更多细节的超分辨率图像。
2、本发明通过利用网络模型中的特征分离与重组子网络对图像特征进行深层特征提取，减少了卷积层操作的特征通道数，进而减少网络模型的参数，实现了网络模型的轻量化。
3、本发明利用构建的网络模型，能够获得详细和准确的超分辨率图像，为后续图像处理和实际应用打下坚实基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于特征分离的超分辨率图像生成方法的流程图。
图2是本发明实施例1的网络模型的结构示意图。
图3是本发明实施例1的特征提取子网络的结构示意图。
图4是本发明实施例1的特征分离与重组子网络的结构示意图。
图5是本发明实施例1的图像重构子网络的结构示意图。
图6为本发明实施例2的基于特征分离的超分辨率图像生成装置的结构框图。
图7为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1：
本实施例基于TensorFlow框架和Pycharm的开发环境。TensorFlow框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学习网络，同时具有很好的跨平台交互能力；能够提供深度学习架构中的众多封装函数和各类图像处理函数的接口，包括OpenCV相关的图像处理函数；同时能够使用GPU对模型进行训练和验证，提高了计算的效率。
在Windows平台或者Linux平台下的Pycharm开发环境(IDE)，是目前深度学习网络设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。
如图1所示，本实施例提供了一种基于特征分离的超分辨率图像生成方法，主要包括以下步骤：
S101、获取训练数据集。
(1)获取当前主流的图像数据库；
(2)将图像数据库中的清晰图像输入图像低分辨率生成模型，得到低分辨率的图像；
图像低分辨率生成模型，如下所示：
其中，Y为得到的低分辨率图像，Iq为图像数据库中的清晰图像，K和N分别为随机模糊核和随机噪声，
为卷积操作，而Down↓为2倍率的下采样操作。
具体过程如下：
(2-1)首先，根据图像低分辨率生成模型的原理，设计不同尺寸的卷积核，通过将卷积核与清晰图像做卷积运算，模拟图像模糊的效果，得到模糊化的图像；
(2-2)接着，对模糊化的图像添加不同程度的随机噪声，模拟图像生成时所受到的传感器噪声，得到退化图像；
(2-3)最后，将退化图像进行2倍率下采样操作，即图像的长度与宽度均变为原来的二分之一，得到低分辨图像。
(3)将低分辨图像与对应的清晰图像作为训练数据集的图像对，用于模型训练。
S102、利用网络模型中的特征提取子网络对低分辨率的图像进行特征提取，得到图像特征。
如图2所示，构建的网络模型包括三个子网络，分别为特征提取子网络、特征分离与重组子网络和图像重构子网络。
如图3所示，特征提取子网络包括2个卷积层和2个线性整流层，所有卷积层的卷积核大小为3，步长为1，最后生成64通道的图像特征。
将训练数据集中的低分辨图像输入特征提取子网络，得到图像特征，具体包括：
低分辨图像为Y，通道数为3，生成的图像特征为：
Fim＝R2(C2(R1(C1(Y))))
其中，C1，C2表示卷积层，R1，R2表示线性整流层。
S103、利用网络模型中的特征分离与重组子网络对图像特征进行深层特征提取，得到深层特征。
如图4所示，特征分离与重组子网络包括三种模块，分别为特征分离模块、特征变换模块和特征重组模块，具体如下：
特征分离模块有3个，分别为特征分离模块1、特征分离模块2和特征分离模块3，每个特征分离模块的参数类似。以特征分离模块1为例，其包含有一个特征分离层和2 个卷积层，特征分离层将64通道的图像特征分成32通道的第一分支特征和32通道的第二分支，由第一分支特征经过卷积核大小为1的卷积层生成32通道的特征分量1-1，由第二分支特征经过卷积核大小为3，步长为1的卷积层生成64通道的特征分量1-2。
特征变换模块有3个，分别为特征变换模块1、特征变换模块2和特征变换模块3，每个特征分离模块的参数类似。以特征变换模块1为例，其包含有2个卷积层和2个线性整流层，其组合顺序是以“卷积层*线性整流层*卷积层*线性整流层”的形式进行的，并且所有卷积层的卷积核大小为3，步长为1，所有线性整流层的线性整流函数均为 ReLU，最后生成64通道的变换特征1。
特征重组模块，包含有1个特征级联操作、1个卷积层和1个线性整流层，卷积层的卷积核大小为3，步长为1，输入为特征分量1-1、特征分量2*1、特征分量3-1和变换特征3，输出为64通道的深层特征。
在特征分离与重组子网络中，通过特征分离后，减低了需要进行卷积操作的特征的通道数，进而获得更少的网络参数。
将图像特征输入特征分离与重组子网络，得到深层特征，具体包括：
一个特征分离模块和一个特征变换模块构成一组模块，三个特征分离模块和三个特征变换模块共构成三组模块，其中，特征分离模块是将输入的图像特征分离为两部分(第一特征分量和第二特征分量)，分别对这两部分进行卷积层处理，获得两个特征分量，如下所示：
其中，Fi 1和Fi 2表示第i组模块中第一分支特征分量(特征分量1-1)和第二分支特征分量(特征分量1-2)，F0 2＝Fim，Half()表示特征分离层，Cd1，Cd2分别表示第一分支和第二分支的卷积层。接着，第一分支特征分量直接输入到特征重组模块，第二分支特征分量输入到特征变换模块，进而获得变换特征，并将其输入到下一组模块；通过这三组特征分离模块和特征变换模块的处理后，将每一组中特征分离模块的第一分支特征分量以及三组模块处理后的变换特征，输入到特征重组模块中，进行特征融合与重组，最后得到深度特征Fdeep。
S104、利用网络模型中的图像重构子网络对图像特征和深层特征进行特征叠加，得到高分辨率图像。
如图5所示，图像重构子网络包括1个特征叠加操作层、1个上采样操作层和1 个卷积层，卷积层的卷积核大小为3，步长为1，最后生成3通道的高分辨率图像。
将图像特征和深层特征输入图像重构子网络，得到高分辨率图像，具体包括：
图像特征和深度特征分别为Fim和Fdeep，通过上采样和卷积层操作，获得通道数为3的高分辨率图像：
Y0＝C(Up(S(Fim，Fdeep)))
其中，S表示特征叠加操作，Up表示上采样卷积层，C()表示卷积层。
网络模型，首先，利用特征提取子网络对输入的低分辨率图像进行图像特征提取，得到图像特征；接着，利用特征分离与重组子网络，对图像特征进行进一步的深层特征提取，得到深层特征；最后，利用图像重构子网络，对图像特征和深层特征的叠加结果进行图像重构，并将重构结果与对应的清晰图像进行比较，对网络模型进行优化约束。
S105、根据高分辨率图像和低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型。
生成网络模型的训练在高性能的GPU上进行，具体的训练参数设计如下：
使用Adam优化器，其参数设置为0.9/0.999；epoch设置为100，学习率初始值设置为0.0001；batch设置依据训练数据集以及GPU内存大小而定，当训练数据集样本大并且GPU内存大时，batch可以设置比较大，反之亦然。
利用训练数据集对生成网络模型进行训练，具体包括：
(1)通过优化判别生成的高分辨率图像Yo与训练数据集的图像对中低分辨率图像对应的清晰图像I之间的差异：利用L1范数，设置损失函数如下所示：
其中，||·||1表示L1范数的度量形式，H与W分别为清晰图像I的高度与宽度；
(2)通过优化上述损失函数，从而实现网络模型的收敛。
具体为：
通过计算上述损失函数结果，采用随机梯度下降法进行后向传播计算，对网络模型的网络参数进行优化；
为了使网络模型在训练过程中尽可能达到最优值，避免达到次优值，随着epoch增加，利用余弦退火策略将学习率而不断减小；当网络模型的epoch已达到预设的epoch 值后时，则网络模型实现收敛，从而得到了训练好的网络模型。
其中，网络模型的参数包括构成网络的各个卷积层、激化函数、正则化项等相关的参数，这些参数在网络训练过程中，不断优化迭代。
S106、将待测的图像输入训练好的网络模型，生成具有较多细节的超分辨率图像。
将待测的图像输入训练好的网络模型，生成具有较多细节的超分辨率图像，具体包括：
(1)使用人工交互的方法，获取需要处理的低分辨率图像；
直接获取低分辨率图像或获取监控图像中需要处理的低分辨率图像。
(2)将低分辨率图像输入训练好的网络模型，得到具有较多细节的超分辨率图像。
综上所述，本实施例公开的一种基于特征分离的超分辨率图像生成方法，主要过程包括获网络模型的建立、网络模型的训练和网络模型的运用三个阶段，其中：
网络模型的建立：生网络模型包括特征提取子网络、特征分离与重组子网络和图像重构子网络，利用特征提取子网络对输入的低分辨率图像进行图像特征提取，得到图像特征；利用特征分离与重组子网络，对图像特征进行进一步的深层特征提取，得到深层特征；最后，利用图像重构子网络，对图像特征和深层特征的叠加结果进行图像重构，得到高分辨率图像。
网络模型的训练：云端服务器对网络模型进行训练，通过优化损失函数，并调整网络模型参数，直至网络模型的收敛。
网络模型的运用：首先，使用人工交互的方法，获取监控图像中的低分辨率图像；然后低分辨率图像利用训练完毕得到的网络模型与参数，获得具有较多细节的超分辨率图像。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图6所示，本实施例提供了一种基于特征分离的超分辨率图像生成装置，该装置包括图像获取模块601、第一特征提取模块602、第二特征提取模块603、特征叠加模块604、优化模块605和图像重建模块606，其中：
图像获取模块601，用于获取训练数据集；其中，所述训练数据集中的图像对包括低分辨率的图像和对应的清晰图像；
第一特征提取模块602，用于利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征；
第二特征提取模块603，用于利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征；
特征叠加模块604，用于利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；
优化模块605，用于根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；
图像重建模块606，用于将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图7所示，其通过系统总线701连接的处理器702、存储器、输入装置703、显示器704和网络接口 705，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质706和内存储器707，该非易失性存储介质706存储有操作系统、计算机程序和数据库，该内存储器707为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器702 执行存储器存储的计算机程序时，实现上述实施例1的超分辨率图像生成方法，如下：
获取训练数据集；其中，所述训练数据集中的图像对包括低分辨率的图像和对应的清晰图像；
利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征；
利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征；
利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；
根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的超分辨率图像生成方法，如下：
获取训练数据集；其中，所述训练数据集中的图像对包括低分辨率的图像和对应的清晰图像；
利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征；
利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征；
利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；
根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明构建的网络模型包括特征提取子网络、特征分离与重组子网络和图像重构子网络；利用特征提取子网络对训练数据集中的低分辨图像进行特征提取，得到图像特征；特征分离与重组子网络包括特征分离模块、特征变换模块和特征重组模块，利用特征分离模块对输入图像进行处理，得到两个特征分量Fi 1和Fi 2；将Fi 1输入到特征重组模块，同时将Fi 2输入到特征变换模块；利用特征变换模块对Fi 2进行特征变换，得到变换特征；利用特征重组模块对变换特征和所有的特征分量Fi 1进行特征重组，得到深层特征；利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；根据所述高分辨率图像和所述训练数据集中的低分辨图像对应的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像，为后续图像处理和实际应用打下基础。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (10)
1.一种基于特征分离的超分辨率图像生成方法，其特征在于，所述方法包括：
获取训练数据集；其中，所述训练数据集中的图像对包括低分辨率的图像和对应的清晰图像；
利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征；
利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征；所述特征分离与重组子网络包括n个特征分离模块、n个特征变换模块以及特征重组模块，n为大于1的正整数，其中：
所述特征分离模块对输入的图像特征进行处理，得到第一特征分量和第二特征分量，将第二特征分量输入所述特征变换模块；
将所述特征变换模块输出的变换特征作为特征分离模块的输入，重复上述操作n-1次；
将得到的所有第一特征分量和第n个特征变换模块输出的变换特征利用所述特征重组模块进行特征重组，得到深层特征；
利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；
根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
2.根据权利要求1所述的超分辨率图像生成方法，其特征在于，所述利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征，具体包括：
当i为1时，利用所述特征分离模块i对输入图像进行处理，得到两个特征分量Fi 1和Fi 2；将特征分量Fi 1输入所述特征重组模块，同时将特征分量Fi 2输入特征变换模块i；利用所述特征变换模块i对所述特征分量Fi 2进行特征变换，得到变换特征i；其中，所述输入图像为所述图像特征；
当i为大于1且小于或等于n的正整数时，利用所述特征分离模块i对输入图像进行处理，得到两个特征分量Fi 1和Fi 2；将特征分量Fi 1输入所述特征重组模块，同时将特征分量Fi 2输入特征变换模块i；利用所述特征变换模块i对所述特征分量Fi 2进行特征变换，得到变换特征i；其中，所述输入图像为变换特征i-1；
利用所述特征重组模块对所有的特征分量Fs 1和变换特征n进行特征重组，得到深层特征；其中，s＝1,2,...,n。
3.根据权利要求2所述的超分辨率图像生成方法，其特征在于，所述特征分离模块包括特征分离层和两个卷积层，两个卷积层分别为第一卷积层和第二卷积层，第一卷积层和第二卷积层中的卷积核大小不同；
所述利用所述特征分离模块i对输入图像进行处理，得到两个特征分量Fi 1和Fi 2，具体包括：
利用所述特征分离模块i中的特征分离层将所述输入图像分离为第一特征分量和第二特征分量；
利用所述特征分离模块i中的第一卷积层对第一特征分量进行处理，得到特征分量Fi 1；
利用所述特征分离模块i中的第二卷积层对第二特征分量进行处理，得到特征分量Fi 2；
所述特征变换模块包括k个卷积层和k个线性整流层，每个卷积层和每个线性整流层交替连接；其中，k为大于1的正整数；
所述利用所述特征变换模块i对所述特征分量Fi 2进行特征变换，得到变换特征i，具体为：
对特征分量Fi 2，利用所述特征变换模块中的卷积层和线性整流层进行处理，得到变换特征i；
所述特征重组模块包括特征级联操作、卷积层和线性整流层；
所述利用所述特征重组模块对所有的特征分量Fs 1和变换特征n进行特征重组，得到深层特征，具体包括：
利用所述特征重组模块的特征级联操作对变换特征n和所有的特征分量Fs 1进行处理，得到处理后特征；
对所述处理后特征，利用特征重组模块的卷积层和线性整流层进行处理，得到深层特征。
4.根据权利要求1所述的超分辨率图像生成方法，其特征在于，所述特征提取子网络包括m个卷积层和m个线性整流层，每个卷积层和每个线性整流层交替连接；其中，m为大于1的正整数；
所述利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征，具体为：
对所述低分辨率的图像，利用所述特征提取子网络中的卷积层和相线性整流层进行处理，得到图像特征。
5.根据权利要求1所述的超分辨率图像生成方法，其特征在于，所述图像重构子网络包括特征叠加操作层、上采样操作层和卷积层；
所述利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像，具体包括：
将所述图像特征和所述深层特征输入所述图像重构子网络中的特征叠加操作层，得到叠加后特征；
对所述叠加后特征，利用所述图像重构子网络中的上采样操作层和卷积层进行处理，得到高分辨率图像。
6.根据权利要求1所述的超分辨率图像生成方法，其特征在于，所述高分辨率图像为Y0，所述低分辨率的图像对应的训练数据集中的清晰图像为I；
所述根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型，具体包括：
设置损失函数，如下所示：
其中，H与W分别为清晰图像I的高度与宽度，||·||1为L1范数的度量形式；
通过优化所述损失函数，从而实现网络模型的收敛。
7.根据权利要求1所述的超分辨率图像生成方法，其特征在于，所述将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像，具体包括：
使用人工交互的方法，获取需要处理的低分辨率图像；
将所述低分辨率图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
8.根据权利要求1-7任一项所述的超分辨率图像生成方法，其特征在于，所述获取训练数据集，具体包括：
获取当前主流的图像数据库；
将所述图像数据库中的清晰图像I输入图像低分辨率生成模型，得到低分辨率的图像；
将所述低分辨率的图像与所述清晰图像I作为训练数据集的图像对，用于模型训练。
9.一种超分辨率图像生成装置，其特征在于，所述装置包括：
图像获取模块，用于获取训练数据集；其中，所述训练数据集中的图像对包括低分辨率的图像和对应的清晰图像；
第一特征提取模块，用于利用网络模型中的特征提取子网络对所述低分辨率的图像进行特征提取，得到图像特征；
第二特征提取模块，用于利用网络模型中的特征分离与重组子网络对所述图像特征进行深层特征提取，得到深层特征；所述特征分离与重组子网络包括n个特征分离模块、n个特征变换模块以及特征重组模块，n为大于1的正整数，其中：
所述特征分离模块对输入的图像特征进行处理，得到第一特征分量和第二特征分量，将第二特征分量输入所述特征变换模块；
将所述特征变换模块输出的变换特征作为特征分离模块的输入，重复上述操作n-1次；
将得到的所有第一特征分量和第n个特征变换模块输出的变换特征利用所述特征重组模块进行特征重组，得到深层特征；
特征叠加模块，用于利用网络模型中的图像重构子网络对所述图像特征和所述深层特征进行特征叠加，得到高分辨率图像；
优化模块，用于根据所述高分辨率图像和所述低分辨率的图像对应的训练数据集中的清晰图像，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型；
图像重建模块，用于将待测的图像输入所述训练好的网络模型，生成具有较多细节的超分辨率图像。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-8任一项所述的超分辨率图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110946412.4A CN113658046B (zh) | 2021-08-18 | 2021-08-18 | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110946412.4A CN113658046B (zh) | 2021-08-18 | 2021-08-18 | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658046A CN113658046A (zh) | 2021-11-16 |
| CN113658046B true CN113658046B (zh) | 2022-08-02 |
Family
ID=78480754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110946412.4A Active CN113658046B (zh) | 2021-08-18 | 2021-08-18 | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658046B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437675A (zh) * | 2023-10-23 | 2024-01-23 | 长讯通信服务有限公司 | 一种基于成分分解与重建的人脸静默活体检测方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2697646C1 (ru) * | 2018-10-26 | 2019-08-15 | Самсунг Электроникс Ко., Лтд. | Способ биометрической аутентификации пользователя и вычислительное устройство, реализующее упомянутый способ |
| CN112446826A (zh) * | 2019-09-03 | 2021-03-05 | 联咏科技股份有限公司 | 用于图像超分辨率、图像增强及模型训练的方法及装置 |
| CN110942424B (zh) * | 2019-11-07 | 2023-04-18 | 昆明理工大学 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
| CN111881707B (zh) * | 2019-12-04 | 2021-09-14 | 马上消费金融股份有限公司 | 图像翻拍检测方法、身份验证方法、模型训练方法及装置 |
| CN111062872B (zh) * | 2019-12-17 | 2021-02-05 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
| CN112200724B (zh) * | 2020-10-22 | 2023-04-07 | 长沙理工大学 | 一种基于反馈机制的单图像超分辨率重建系统及方法 |
| CN112580585A (zh) * | 2020-12-28 | 2021-03-30 | 深圳职业技术学院 | 一种基于堆叠稠密网络的挖掘机目标检测方法及装置 |
| CN112767255B (zh) * | 2021-03-04 | 2022-11-29 | 山东大学 | 基于特征分离融合网络的图像超分辨率重构方法及系统 |
-
2021
- 2021-08-18 CN CN202110946412.4A patent/CN113658046B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658046A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Anwar et al. | Densely residual laplacian super-resolution | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN111275618A (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN109636721B (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN111951167B (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| CN109949221B (zh) | 一种图像处理方法及电子设备 | |
| CN115358932B (zh) | 一种多尺度特征融合的人脸超分辨率重构方法及系统 | |
| RU2697928C1 (ru) | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN109903373A (zh) | 一种基于多尺度残差网络的高质量人脸生成方法 | |
| CN112907448A (zh) | 一种任意比率图像超分辨率方法、系统、设备及存储介质 | |
| CN112509106A (zh) | 文档图片展平方法、装置以及设备 | |
| CN114998667B (zh) | 多光谱目标检测方法、系统、计算机设备及存储介质 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN113658046B (zh) | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 | |
| CN114519667A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN111414988A (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
| Wang et al. | DDistill-SR: Reparameterized dynamic distillation network for lightweight image super-resolution | |
| Sui et al. | GCRDN: Global context-driven residual dense network for remote sensing image superresolution | |
| CN116342385A (zh) | 文本图像超分辨率网络的训练方法、装置以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |