CN110335196A - 一种基于分形解码的超分辨率图像重建方法及系统 - Google Patents
一种基于分形解码的超分辨率图像重建方法及系统 Download PDFInfo
- Publication number
- CN110335196A CN110335196A CN201910625810.9A CN201910625810A CN110335196A CN 110335196 A CN110335196 A CN 110335196A CN 201910625810 A CN201910625810 A CN 201910625810A CN 110335196 A CN110335196 A CN 110335196A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- fractal
- super
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000011478 gradient descent method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N caffeine Chemical compound CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于分形解码的超分辨率图像重建方法及系统，所述方法包括：接收低分辨率原始图像；对原始图像进行分形编码，得到分形码与分形图像；根据分形图像的分形码，对分形图像进行超分辨率分形解码；将原始图像与分形解码得到的图像做差，得到误差图像；将误差图像通过预训练的卷积神经网络，学习低分辨率到高分辨率的映射关系，得到误差图像的超分辨率图像；将超分辨率分形解码得到的图像与误差图像的超分辨率图像进行相加，得到原始图像的超分辨率图像。本发明实现了误差项的超分辨率重建，可得到真实图像的超分辨率图像。
Description
技术领域
本发明涉及图像处理技术领域，具体是一种基于分形解码的超分辨率 图像重建方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构 成在先技术。
将观测到的低分辨率图像重建接近真实图像的高分辨率图像的这技术 称为超分辨率技术。超分辨率技术在监控设备、卫星图像和医学影像与建 模图像细节等领域都有重要的应用价值。由于图像在成像过程中，受到的 降采样，噪声等因素是不确定的，导致图像退化模型具的不确定性，重建 约束的不唯一性。因此从低分辨率图像恢复高分辨率图像是一个病态的问 题。
超分辨率重建方法的基础是均衡及非均衡采样定理。假设低分辨率的 输入图像能很好地预估出原始的高分辨率图像。其中主要包括频域法和空 域法。频域法通过观测低分辨率图像的离散傅里叶变换,小波变换等预测图 像的高频信息。空域法是利用图像的空间结构信息来进行高分辨率图像构 造。基于单张超分辨率的重建方法主要分为三种：基于插值，基于重建和 基于学习的方法。但发明人发现，插值方法，如双三次插值和Lanczos重采 样，插值方法比较容易实现，线性模型的表示能力非常有限，输出的高分 辨率图像通常会有模糊，基于重建的方法严重依赖于高分辨率图像的先验 信息，因此并没有得到广泛的应用。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于分形解码的超分 辨率图像重建方法及系统。该方法利用图像自身存在自相似结构对图像进 行分形处理，分别对分形图像和分形解码的误差项进行超分辨率重建后进 行相加，能够得到真实图像的超分辨率图像。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于分形解码的超分辨率图像重建方法，包括以下步骤：
接收低分辨率原始图像；
对原始图像进行分形编码，得到分形码与分形图像；
根据分形图像的分形码，对分形图像进行超分辨率分形解码；
将原始图像与分形解码得到的图像做差，得到误差图像；
将误差图像通过预训练的卷积神经网络，学习低分辨率到高分辨率的 映射关系，得到误差图像的超分辨率图像；
将超分辨率分形解码得到的图像与误差图像的超分辨率图像进行相加，得 到原始图像的超分辨率图像。
一个或多个实施例提供了一种基于分形解码的超分辨率图像重建系 统，包括：
数据获取模块，接收低分辨率原始图像；
分形编码模块，对原始图像进行分形编码，得到分形码与分形图像；
超分辨率分形解码模块，根据分形图像的分形码，对分形图像进行超 分辨率分形解码；
误差图像获取模块，将原始图像与分形解码得到的图像做差，得到误 差图像；
误差图像超分辨率重建模块，将误差图像通过预训练的卷积神经网络， 学习低分辨率到高分辨率的映射关系，得到误差图像的超分辨率图像；
超分辨率图像重建模块，将超分辨率分形解码得到的图像图与误差图 像的超分辨率图像进行相加，得到原始图像的超分辨率图像。
一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储 在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序 时实现所述的超分辨率重建方法。
一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算 机程序，该程序被处理器执行时实现所述的超分辨率重建方法。
以上一个或多个技术方案存在以下有益效果：
本发明通过利用图像本身的自相似结构，对图像进行分形处理，利用 分形图像的多分辨率特性，对分形后的图像进行重建，同时，使用卷积神 经网络对误差项进行超分辨率重建，使得超分辨图像更加准确，重建效果 更好；并且，由于误差图像所含信息较少，因此通过网络进行训练，速度 较快，且准确性较高。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解， 本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不 当限定。
图1为本发明一个或多个实施例基于分形解码的超分辨率图像重建方 法的流程示意图；
图2为本发明一个或多个实施例卷积神经网络结构示意图；
图3为本发明一个或多个实施例卷积神经网络中上投影单元结构示意 图；
图4为本发明一个或多个实施例卷积神经网络中下投影单元结构示意 图；
图5(a)-5(h)为进行比例因子为2的超分辨率重建结果，分别表示 原始图像、低分辨率图像、基于Bicubic方法、A+方法、SRCNN方法、VDSR 方法、LapSRN方法和本发明方法的超分辨率重建结果；
图6(a)-6(h)为进行比例因子为4的超分辨率重建结果，分别表示 原始图像、低分辨率图像、基于Bicubic方法、A+方法、SRCNN方法、VDSR 方法、LapSRN方法和本发明方法的超分辨率重建结果；
图7(a)-7(h)为进行比例因子为8的超分辨率重建，分别表示原始 图像、低分辨率图像、基于Bicubic方法、A+方法、SRCNN方法、VDSR方 法、LapSRN方法和本发明方法的超分辨率重建结果；
图8是本发明超分辨率结果与对抗性生成网络SRGAN进行对比。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的 说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属 技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非 意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文 另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的 是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步 骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组 合。
随着深度学习网络的发展，基于学习的超分辨率重建方法，如随机森 林和卷积神经网络等方法应用于超分辨率重建，开启了超分辨率重建的新 时代。本发明利用图像自身存在自相似结构，且这种结构在任意精度下都 不会发生改变，对图像进行分形处理。分形后的图像具有多分辨率的特性， 但由于图像本身不具有严格的自相似结构，因此分形压缩是一种有损压缩， 将分形图像进行超分辨率后，并不能得到真实图像的超分辨率图像，而是 存在误差。如果能够对误差项进行超分辨率重建，将超分辨率分形解码后 的图像图与误差项的超分辨率图像进行相加，则可得到真实图像的超分辨 率图像。
实施例一
本实施例公开了一种基于分形解码的超分辨率图像重建方法，包括以 下步骤：
步骤1：根据分形理论，对原始图像进行分形编码，得到分形码与分形 图像；
步骤2：根据分形图像的分形码，对分形图像进行超分辨率分形解码；
步骤3：将原始图像与分形图像做差，得到误差图像；
步骤4：将误差图像通过卷积神经网络，学习低分辨率到高分辨率的映 射关系；
步骤5：将步骤3和4得到的图像进行相加，得到图像的超分辨率图像。
所述步骤1中，分形理论如下：
图像有n×n的图像块m×m的图像块如果 存在变换ωi，使得
Ri＝ωi(Di) (1)
则称Ri与Di是相似的。Ri称为子块，Di称为父块，其中ωi是一个泛化 的算子，ωi可以是收缩变换ωi C，仿射变换ωi A，又或者是灰度变换ωi L如下：
对于图像F由若干Ri，{Ri|i＝1,2,3ΛM}组成，即且RiIRj＝φ。对 父块Di在变换集{ωi|i＝1,2,3ΛM}进行变换，则有
其中为父块Di变换后的坐标，通过自相似误差Ei与平均误差 d(RI,ωI(Di))衡量Ri与Di的相似性。
d(RI,ωI(Di))＝mind(RI,ωI(Di)) (5)
按照设定的阈值δ对Ri进行分类，若最小误差小于δ，则为自相似块， 否则为非自相似块。
所述步骤1中，分形编码可以分为以下几个步骤：
步骤1-1：对低分辨率图像F进行分块，分为大小为n×n的Ri块与大小 为2n×2n的Di块，且Ri∩Rj＝φ；
步骤1-2：将所有的子块Ri都标记为“未编码”，加入到分形编码任务队 列；
步骤1-3：从分形编码队列中取出“未编码”子块Ri；
步骤1-4：求解子块Ri与经过仿射变换变换的父块ωi(Di)之间的误差ε， 使得误差最小，其中E为自相似误差；
步骤1-5：若ε小于事先指定的某个阈值δ：
a.记录Ri与Di间的分形编码；
b.Ri标记为“己编码”。
否则：
a.对Di进行四叉树分割，将分割后的子块标记为“未编码”，并加入到“未 编码”队列中；
b.从“未编码”队列中删除Ri。
步骤1-6：返回步骤1-3，直到所有“未编码”都变为“己编码”，结束编码 工作，得到分形码ω＝{ω1，ω2，ω3Λωn}。
所述步骤2，根据分形图像的分形码，对分形图像进行超分辨率分形解 码，根据以下性质：
对于N×N的初始图像，迭代应用PIFS得到变换W1的不动点图像f1(N×N)。对于的初始图像，迭代应用PIFS得到变换的不动点 图像根据的分形压缩多分辨理论有如下性质：
其中，表示内第(ik,jk)个像素值。ak为尺度变换 因子。sk是由旋转与翻转构成的8种空间变换。bk为偏移量。
所述步骤3将原图像与分形图像做差，得到误差图像；分为以下几个 步骤：
步骤3-1：指定原始高分辨率图像与FH尺寸相等，利用分形码ωi对 进行迭代求解，得到FH：
步骤3-2：自然图像不具有严格的自相似结构，所以分形编码是一种有 损编码：
FH＝Fω H+EH (7)
步骤3-3：误差图像可以根据(7)求得：
EH＝FH-Fω H (8)
所述步骤4，将误差图像通过卷积神经网络，学习低分辨率到高分辨率 的映射关系；可以分为以下几个步骤：
步骤4-1：数据集的选择；数据集使用DIV2K作为图像的训练图像。通 过对数据集中的图像进行分形，获得误差图像。DIV2K数据集有800张训练 图像、100张验证图像和100张测试图像组成。本文使用了800个训练图像 作为训练，训练过程中选取了6幅验证图像进行验证。测试数据使用Set5、 Set14、B100和Urban100四个基准数据集，Set5，Set14数据集由自然场景 图组成，Urban100是有不同频段细节的城市场景组成。
步骤4-2：网络的构建；可以分为以下几个步骤：
步骤4-2-1：特征提取单元；在特征提取中，使用深度为128的3×3的 卷积核进行初始特征提取，然后使用深度为32的1×1卷积核进行降维处理。
步骤4-2-2：投影单元上下迭代采样。投影单元模块先进入上投影单元， 将上投影结果传递到之后的下投影单元，上投影结束后再进行下投影，将 下投影的结果传递给之后的上投影单元。依次循环进行，将上下迭代采样 的结果进行级联，作为投影单元最终提取的特征。
上投影单元，接收步骤4-2-1特征提取单元传递的特征，执行以下处理：
(1)将特征提取单元传递的特征进行级联，经1×1卷积核处理映射为 低分辨率特征
(2)低分辨率特征经反卷积处理，得到该低分辨率特征中的高分 辨率特征
(3)高分辨率特征经卷积处理，得到低分辨率特征
(4)对低分辨率特征与进行做差处理，所求为残差特征；
(5)残差特征经反卷积处理，得到高分辨率特征
(6)将高分辨率特征与相加，得到Ht。
从而将所有低分辨率特征中提取的高分辨率特征用于超分辨率重建。
下投影单元，接收上投影单元得到的高分辨率特征，执行以下处理：
(1)将上投影单元传递的高分辨率特征进行级联，通过1×1卷积核进 行扩充维数处理，得到高分辨率特征
(2)高分辨率特征通过卷积核提取高分辨率特征中潜在的低分辨率 特征如下：
(3)低分辨率特征L0通过反卷积降采样，提取潜在的高分辨率特征， 得到高分辨率特征
(4)将高分辨率特征与经过反卷积处理的高分辨率特征做差， 得到高分辨率误差
(5)将高分辨率误差继续进行传递，进行反卷积降采样，得到低分辨 率特征
(6)将低分辨率特征与误差反卷积得到的低分辨率特征进行累 加。
步骤4-2-3：误差图像超分辨率重建；将通过上下迭代采样输出后的图 像，经过3×3卷积核进行超分辨率图像重建。
步骤4-3：网络训练；可以分为以下几个步骤：
步骤4-3-1：网络权重；对于不同的缩放因子，投影单元中的滤波器尺 寸是不同的，对于2×放大，采用6×6卷积核，步长为2，进行padding扩充。 对于4×放大，采用8×8卷积核，步长为2，进行padding填充。使用下式进 行权重初始化：
ft为滤波器大小，nt为滤波器数量。
步骤4-3-2：非线性激活函数；卷积和反卷积层之后通过非线性函数PReLU。
步骤4-3-3：损失函数；将低分辨率图像作为输入进行超分辨率重建， 通过网络的训练，最终得到的超分辨率图像公式
其中，x表示输入的低分辨率v图像，此处为误差图像，H(,θL)和FH分 别表示由θL参数化的卷积网络的HR输出，最终的高分辨率图像。给定N 个训练图像对(xi,yi)i＝1 N，其中，x表示输入的低分辨率图像，y表示对应的 高分辨率图像。需使最终预测的超分辨率图像与真实的高分辨率图像y均 方误差最小。
步骤4-3-4：参数优化目标；参数优化使用采用随机梯度下降的方优化 目标表示为：
其中和Xi是训练集中的第i个低分辨率图像与高分辨率图像对，θ是 网络的参数输出。表示对网络参数施加的参数衰减，λ为折衷参数。
步骤4-4：参数设置；批量大小设置为20，初始学习率为1e-4，迭代 次数为106，经过5×105次迭代后，将学习率降为原来的10倍。采用Adam 进行优化，动量设置为0.9，重量衰减为1e-4。圈基层中的卷积核使用零均 值高斯分布进行随机初始化,标准差为0.01。反卷积层中的卷积核使用双线 性插值内核初始化。
所述步骤5，将步骤3和4所得图像进行相加，得到图像的超分辨率图 像；将超分辨率分形解码后的图像与误差的超分辨率图像相加，得到真实 的超分辨率图像。
基于上述超分辨率重建方法，本发明的另一实施例还提供了一种基于 分形解码的超分辨率图像重建系统，包括：
数据获取模块，接收低分辨率原始图像；
分形编码模块，对原始图像进行分形编码，得到分形码与分形图像；
超分辨率分形解码模块，根据分形图像的分形码，对分形图像进行超 分辨率分形解码；
误差图像获取模块，将原始图像与分形解码得到的图像做差，得到误 差图像；
误差图像超分辨率重建模块，将误差图像通过预训练的卷积神经网络， 学习低分辨率到高分辨率的映射关系，得到误差图像的超分辨率图像；
超分辨率图像重建模块，将超分辨率分形解码得到的图像图与误差图 像的超分辨率图像进行相加，得到原始图像的超分辨率图像。
基于上述超分辨率重建方法，本发明的另一实施例还提供了一种电子 设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算 机程序，所述处理器执行所述程序时实现以下步骤，包括：
接收低分辨率原始图像；
对原始图像进行分形编码，得到分形码与分形图像；
根据分形图像的分形码，对分形图像进行超分辨率分形解码；
将原始图像与分形解码得到的图像做差，得到误差图像；
将误差图像通过预训练的卷积神经网络，学习低分辨率到高分辨率的 映射关系，得到误差图像的超分辨率图像；
将超分辨率分形解码得到的图像与误差图像的超分辨率图像进行相 加，得到原始图像的超分辨率图像。
基于上述超分辨率重建方法，本发明的另一实施例还提供了一种计算 机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以 下步骤：
接收低分辨率原始图像；
对原始图像进行分形编码，得到分形码与分形图像；
根据分形图像的分形码，对分形图像进行超分辨率分形解码；
将原始图像与分形解码得到的图像做差，得到误差图像；
将误差图像通过预训练的卷积神经网络，学习低分辨率到高分辨率的 映射关系，得到误差图像的超分辨率图像；
将超分辨率分形解码得到的图像与误差图像的超分辨率图像进行相 加，得到原始图像的超分辨率图像。
以上超分辨率图像重建系统、电子设备和计算机可读介质中涉及的各 步骤与方法相对应，具体实施方式可参见实施例一的相关说明部分。术语 “计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多 个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或 承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
实验结果
基于上述超分辨率图像重建方法，本实施例对不同数据集中的不同图 像进行超分辨率重建。实验结果如表1，表1展示了不同数据集在×2、×4、 ×8放大后SR重建的定量比较结果。通过平均峰值信噪比(Peak signal to noise ratio,PSNR)与结构相似度(Structural similarity,SSIM)数值的分析，定量衡 量超分辨率的效果。
表1为本发明与其他方法图像重建质量的定量比较。
表1展示了不同数据集在、×2,×4,×8、放大后SR重建的定量比较结果。 从表中可以看出，在四个数据集中，Set5数据集的重建效果是做好的，PSNR 与SSIM数值都高于同等条件下的其他数据集。Urban100数据集的重建效果 较差，PSNR与SSIM指数均低于同等条件下的其他数据集。这是由于 Urban100是由不同频段细节的城市场景组成，超分辨率重建难度较大。
对于同一个数据集内，使用不同的超分辨率重建方法，进行不同尺度 的超分辨率重建，重建结果也有很大差别。由表中数据可以看出，Bicubic 的简单插值方法，在不同数据集上的性能都是最弱的,PSNR与SSIM指数都 比较低；A+算法是基于邻域回归的方法，重建效果比Bicubic有了很大改进， 在比例因子为2、4、8的超分辨率重建上PSNR指数平均提升2.3dB、1.3dB、 0.77dB，SSIM指数也有一定的提升，性能提升幅度较大。SRNN提出后，将深度学习引进超分辨率重建领域，为超分辨率重建提供了新的有效方法， 从表中可以看出，SRCNN与之前的A+算法相比较，在较小的尺度因子2、4， 性能有所提升，PSNR有0.15-0.3dB的提升，提升幅度不大。但是在进行大 尺度重建时，SRCNN的性能与之前的A+相比，出现了退化，PSNR指数降低 了0.09-0.19dB.
VDSR算法使用残差学习的思想，利用残差网络，大大加深了网络的深 度，与之前方法相比较，超分辨率重建性能得到提升性能，在大尺度因子 重建也没有出现性能下降的情况。LapSRN算法是采用渐进式的上采样，与 之前的方法相比较，有小幅度的提升，本文算法始终优与LapSRN算发法。 EDSR是使用了32个残差块进行网络构造，性能较之前的超分辨率重方法都 好，对于难度较大的超分辨率重建，本文方法与EDSR进行比较，本文算法 在Set5,Set14,B100,Urban100数据集上的重建效果都优于EDSR，PSNR指数 有0.1-0.22dB的提升，SSIM指数有0.08的提升。因此，本文算法对于大尺 度因子有较好的性能。
图5(a)-5(h)、图6(a)-6(h)和图7(a)-7(h)为3个对比试 验结果，其中分别与Bicubic方法、A+方法、SRCNN方法、VDSR方法、LapSRN 方法进行比较。图5(a)-5(h)为进行比例因子为2的超分辨率重建效结 果。由图中可以看出，本发明生成的超分辨率图像线条清晰锐利。而其他 实验结果则比较模糊，甚至有的出现了伪影。图6(a)-6(h)为进行比例 因子为4的超分辨率重建结果。由图中可以看出，本发明生成的超分辨率 图像，线条没有发生扭曲且线条比较清晰，比较好的保留了字母的边缘信 息，视觉上很清晰。而其他实验结果中线条边缘模糊，有的甚至出现了重 影的现象。图7(a)-7(h)为进行比例因子为8的超分辨率重建。大尺度 因子的重建难度较大，重建效果有可能出现退化。从实验结果来看，本发明所采用的方法对大尺度因子的重建效果较好，而其他方法结果较为模糊， 边缘出现锯齿状。
图8为本发明与对抗性生成网络SRGAN的比较。对于SRGAN生成的超 分辨率图像，定量的分析PSNR、SSIM效果并不好，但由于网络使用感知损 失，因此，重建后的视觉效果较好。通过对某一部分进行放大，与本发明 的超分辨率重建结果进行对比，SRGAN图像出现了伪影，以及新生成的纹 路,而本实验结果并没有出现这种现象。
本发明的方法，通过合理的利用图像本身的自相似结构，对图像进行 分形处理，利用分形图像的多分辨率的特性，对分形后的图像进行重建， 同时，使用卷积神经网络对误差项进行超分辨率重建，使得超分辨图像更 加准确，重建效果较好，这从超分辨率重建结果图中可以看出。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用 的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来 实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它 们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成 单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精 神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本 发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案 的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或 变形仍在本发明的保护范围以内。
Claims (9)
1.一种基于分形解码的超分辨率图像重建方法，其特征在于，包括以下步骤：
接收低分辨率原始图像；
对原始图像进行分形编码，得到分形码与分形图像；
根据分形图像的分形码，对分形图像进行超分辨率分形解码；
将原始图像与分形解码得到的图像做差，得到误差图像；
将误差图像通过预训练的卷积神经网络，学习低分辨率到高分辨率的映射关系，得到误差图像的超分辨率图像；
将超分辨率分形解码得到的图像与误差图像的超分辨率图像进行相加，得到原始图像的超分辨率图像。
2.如权利要求1所述的一种基于分形解码的超分辨率图像重建方法，其特征在于，所述对图像进行分形处理包括：
对原始图像进行n×n分块，各分块记为子块Ri，且Ri∩Rj＝φ；
对原始图像进行2n×2n分块，各分块记为父块Di；
将所有的子块Ri均初始化标记为“未编码”，加入到分形编码任务队列；
从分形编码任务队列中取出“未编码”子块Ri：求解变换后与子块Ri最相似的最优父块Di，若相似性小于设定阈值，记录Ri与Di间的分形码ωi，并将Ri标记为“己编码”；否则，对Di进行四叉树分割，并将得到的子块标记为“未编码”加入到分形编码任务队列中，从分形编码任务队列中删除Ri；从分形编码任务队列中取出下一“未编码”子块，重复执行该步骤，直到所有“未编码”都变为“己编码”，结束编码工作，得到分形码ω＝{ω1，ω2，ω3Λωn}。
3.如权利要求1所述的一种基于分形解码的超分辨率图像重建方法，其特征在于，所述卷积神经网络包括依次连接的特征提取单元、上下投影迭代采样单元和超分辨率重建单元；其中，特征提取单元包括依次连接的3×3的卷积核和1×1卷积核；超分辨率重建单元包括3×3卷积核。
4.如权利要求3所述的一种基于分形解码的超分辨率图像重建方法，其特征在于，上投影单元，执行以下处理：
将特征提取单元传递的特征进行级联，经1×1卷积核处理映射为低分辨率特征低分辨率特征经反卷积处理，得到高分辨率特征高分辨率特征经卷积处理，得到低分辨率特征低分辨率特征与进行做差处理，得到残差特征残差特征经反卷积处理，得到高分辨率特征高分辨率特征与相加，得到Ht。
5.如权利要求3所述的一种基于分形解码的超分辨率图像重建方法，其特征在于，下投影单元，执行以下处理：
将上投影单元传递的高分辨率特征进行级联，通过1×1卷积核得到高分辨率特征高分辨率特征经卷积处理，得到低分辨率特征低分辨率特征L0经反卷积处理，得到高分辨率特征高分辨率特征与做差处理，得到高分辨率误差高分辨率误差经反卷积处理，得到低分辨率特征低分辨率特征与进行累加，得到Lt。
6.如权利要求3所述的一种基于分形解码的超分辨率图像重建方法，其特征在于，所述卷积神经网络采用随机梯度下降法进行优化，目标函数为：
其中Ys i和Xi是训练集中的第i个低分辨率图像与高分辨率图像对，θ是网络的参数输出，表示对网络参数施加的参数衰减，λ为折衷参数。
7.一种基于分形解码的超分辨率图像重建系统，其特征在于，包括：
数据获取模块，接收低分辨率原始图像；
分形编码模块，对原始图像进行分形编码，得到分形码与分形图像；
超分辨率分形解码模块，根据分形图像的分形码，对分形图像进行超分辨率分形解码；
误差图像获取模块，将原始图像与分形解码得到的图像做差，得到误差图像；
误差图像超分辨率重建模块，将误差图像通过预训练的卷积神经网络，学习低分辨率到高分辨率的映射关系，得到误差图像的超分辨率图像；
超分辨率图像重建模块，将超分辨率分形解码得到的图像图与误差图像的超分辨率图像进行相加，得到原始图像的超分辨率图像。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的超分辨率重建方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的超分辨率重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625810.9A CN110335196A (zh) | 2019-07-11 | 2019-07-11 | 一种基于分形解码的超分辨率图像重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910625810.9A CN110335196A (zh) | 2019-07-11 | 2019-07-11 | 一种基于分形解码的超分辨率图像重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110335196A true CN110335196A (zh) | 2019-10-15 |
Family
ID=68146421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910625810.9A Withdrawn CN110335196A (zh) | 2019-07-11 | 2019-07-11 | 一种基于分形解码的超分辨率图像重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335196A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080527A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 一种图像超分辨率的方法、装置、电子设备及存储介质 |
| CN111178499A (zh) * | 2019-12-10 | 2020-05-19 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
| CN112950692A (zh) * | 2019-11-26 | 2021-06-11 | 福建天晴数码有限公司 | 一种基于移动游戏平台的图像景深处理方法及其系统 |
-
2019
- 2019-07-11 CN CN201910625810.9A patent/CN110335196A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950692A (zh) * | 2019-11-26 | 2021-06-11 | 福建天晴数码有限公司 | 一种基于移动游戏平台的图像景深处理方法及其系统 |
| CN112950692B (zh) * | 2019-11-26 | 2023-07-14 | 福建天晴数码有限公司 | 一种基于移动游戏平台的图像景深处理方法及其系统 |
| CN111178499A (zh) * | 2019-12-10 | 2020-05-19 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
| CN111178499B (zh) * | 2019-12-10 | 2022-06-07 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
| CN111080527A (zh) * | 2019-12-20 | 2020-04-28 | 北京金山云网络技术有限公司 | 一种图像超分辨率的方法、装置、电子设备及存储介质 |
| CN111080527B (zh) * | 2019-12-20 | 2023-12-05 | 北京金山云网络技术有限公司 | 一种图像超分辨率的方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chang et al. | Spatial-adaptive network for single image denoising | |
| Yang et al. | BM3D-Net: A convolutional neural network for transform-domain collaborative filtering | |
| Ren et al. | Dn-resnet: Efficient deep residual network for image denoising | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| Wen et al. | FRIST—Flipping and rotation invariant sparsifying transform learning and applications | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN110276726A (zh) | 一种基于多通道网络先验信息引导的图像去模糊方法 | |
| CN110335196A (zh) | 一种基于分形解码的超分辨率图像重建方法及系统 | |
| Yang et al. | Multi-focus image fusion via clustering PCA based joint dictionary learning | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| Zhang et al. | High‐Order Total Bounded Variation Model and Its Fast Algorithm for Poissonian Image Restoration | |
| CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
| CN117114984A (zh) | 基于生成对抗网络的遥感图像超分辨率重建方法 | |
| Wen et al. | Learning flipping and rotation invariant sparsifying transforms | |
| CN115393452A (zh) | 一种基于非对称自编码器结构的点云几何压缩方法 | |
| Feng et al. | Single‐image super‐resolution with total generalised variation and Shearlet regularisations | |
| CN105590296A (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
| Zhao et al. | Image super‐resolution via adaptive sparse representation and self‐learning | |
| CN115205308A (zh) | 一种基于线状滤波和深度学习的眼底图像血管分割方法 | |
| Yao et al. | Multiscale residual fusion network for image denoising | |
| Xiang et al. | Image DAEs based on residual entropy maximum | |
| Fan et al. | Image denoising by low‐rank approximation with estimation of noise energy distribution in SVD domain | |
| CN109559357B (zh) | 一种基于小波包阈值的图像块压缩感知重构方法 | |
| CN116798536A (zh) | 一种分子多构象预测模型的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191015 |
|
| WW01 | Invention patent application withdrawn after publication |